{"id":10342,"date":"2024-02-27T18:58:26","date_gmt":"2024-02-27T18:58:26","guid":{"rendered":"https:\/\/dailyai.com\/?p=10342"},"modified":"2024-03-28T00:37:55","modified_gmt":"2024-03-28T00:37:55","slug":"generative-ai-systems-hallucinations-and-mounting-technical-debt","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","title":{"rendered":"Generative AI-systemer, hallusinasjoner og \u00f8kende teknisk gjeld"},"content":{"rendered":"<p><strong>Etter hvert som AI-systemer som store spr\u00e5kmodeller (LLM-er) vokser i st\u00f8rrelse og kompleksitet, avdekker forskerne spennende grunnleggende begrensninger.\u00a0<\/strong><\/p>\n<p>Nyere studier fra Google og University of Singapore har avdekket mekanismene bak AI-\"hallusinasjoner\" - der modeller genererer overbevisende, men fabrikkert informasjon - og akkumuleringen av \"teknisk gjeld\", som kan skape rotete, up\u00e5litelige systemer over tid.<\/p>\n<p>Utover de tekniske utfordringene er det fortsatt et \u00e5pent sp\u00f8rsm\u00e5l \u00e5 tilpasse AIs evner og insentiver til menneskelige verdier.<\/p>\n<p>N\u00e5r selskaper som OpenAI presser p\u00e5 for \u00e5 utvikle kunstig generell intelligens (AGI), er det viktig \u00e5 erkjenne grensene for dagens systemer for \u00e5 sikre veien videre.<\/p>\n<p><span style=\"font-weight: 400;\">Men \u00e5 v\u00e6re n\u00f8ye med \u00e5 erkjenne risikoer er i strid med Silicon Valleys motto om \u00e5 \"g\u00e5 raskt frem og \u00f8delegge ting\", som kjennetegner forskning og utvikling innen kunstig intelligens, slik det ogs\u00e5 var for teknologiske innovasjoner f\u00f8r det.\u00a0<\/span><\/p>\n<h2>Studie 1: AI-modeller p\u00e5drar seg \"teknisk gjeld<\/h2>\n<p><span style=\"font-weight: 400;\">Maskinl\u00e6ring fremheves ofte som kontinuerlig skalerbar, med systemer som tilbyr et modul\u00e6rt, integrert rammeverk for utvikling.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">I bakgrunnen kan imidlertid utviklerne p\u00e5dra seg en stor \"teknisk gjeld\" som de m\u00e5 l\u00f8se p\u00e5 sikt.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">I en <\/span><a href=\"https:\/\/storage.googleapis.com\/gweb-research2023-media\/pubtools\/pdf\/43146.pdf\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Googles forskningsoppgave<\/span><\/a><span style=\"font-weight: 400;\">I artikkelen \"Machine Learning: The High-Interest Credit Card of Technical Debt\", diskuterer forskere begrepet teknisk gjeld i forbindelse med ML-systemer.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Kaggle-sjef og mange\u00e5rig Google-forsker D. Sculley og kolleger hevder at selv om ML tilbyr kraftige verkt\u00f8y for raskt \u00e5 bygge komplekse systemer, er disse \"quick wins\" ofte misvisende.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Den enkle og raske implementeringen av ML-modeller kan skjule de fremtidige byrdene de medf\u00f8rer for systemvedlikehold og -utvikling. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Som forfatterne beskriver, oppst\u00e5r denne skjulte gjelden som f\u00f8lge av flere ML-spesifikke risikofaktorer som utviklere b\u00f8r unng\u00e5 eller refaktorere.<\/span><\/p>\n<p>Her er de viktigste innsiktene:<\/p>\n<ul>\n<li><span style=\"font-weight: 400;\">ML-systemer er i sin natur mer komplekse enn koding alene. <\/span>Dette kan f\u00f8re til det forfatterne kaller \"grenseerosjon\", der de klare grensene mellom ulike systemkomponenter blir utydelige p\u00e5 grunn av den gjensidige avhengigheten som ML-modellene skaper. Dette gj\u00f8r det vanskelig \u00e5 isolere og implementere forbedringer uten at det p\u00e5virker andre deler av systemet.<\/li>\n<li>Artikkelen belyser ogs\u00e5 problemet med \"sammenfiltring\", der endringer i en hvilken som helst del av et ML-system, for eksempel inngangsfunksjoner eller modellparametere, kan ha uforutsigbare effekter p\u00e5 resten av systemet. Hvis man endrer \u00e9n liten parameter, kan det utl\u00f8se en kaskade av effekter som p\u00e5virker hele modellens funksjon og integritet.<\/li>\n<li>Et annet problem er at det oppst\u00e5r \"skjulte tilbakekoblingssl\u00f8yfer\", der ML-modeller p\u00e5virker sine egne treningsdata p\u00e5 uforutsette m\u00e5ter. Dette kan f\u00f8re til systemer som utvikler seg i en utilsiktet retning, noe som gj\u00f8r det enda vanskeligere \u00e5 styre og forst\u00e5 systemets atferd.<\/li>\n<li>Forfatterne tar ogs\u00e5 for seg \"dataavhengighet\", for eksempel n\u00e5r inngangssignaler endrer seg over tid, noe som er spesielt problematisk fordi det er vanskeligere \u00e5 oppdage.<\/li>\n<\/ul>\n<h3>Hvorfor teknisk gjeld er viktig<\/h3>\n<p><span style=\"font-weight: 400;\">Teknisk gjeld ber\u00f8rer ML-systemenes langsiktige helse og effektivitet. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">N\u00e5r utviklere skynder seg \u00e5 f\u00e5 ML-systemer opp \u00e5 g\u00e5, kan de komme til \u00e5 overse de vanskelige detaljene i datah\u00e5ndteringen eller fallgruvene ved \u00e5 \"lime\" sammen ulike deler. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dette kan fungere p\u00e5 kort sikt, men kan f\u00f8re til et uoversiktlig virvar som er vanskelig \u00e5 dissekere, oppdatere eller forst\u00e5 senere.<\/span><\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">\u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f<\/p>\n<p>GenAI er et skred av teknisk gjeld* som bare venter p\u00e5 \u00e5 skje<\/p>\n<p>Bare denne uken<br \/>\n\ud83d\udc49ChatGPT gikk \"berserk\" uten noen egentlig forklaring<br \/>\n\ud83d\udc49Sora kan ikke konsekvent utlede hvor mange bein en katt har<br \/>\n\ud83d\udc49Geminis mangfoldsintervensjon gikk helt av skaftet.... <a href=\"https:\/\/t.co\/qzrVlpX9yz\">pic.twitter.com\/qzrVlpX9yz<\/a><\/p>\n<p>- Gary Marcus @ AAAI 2024 (@GaryMarcus) <a href=\"https:\/\/twitter.com\/GaryMarcus\/status\/1761414330577539340?ref_src=twsrc%5Etfw\">24. februar 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\n<span style=\"font-weight: 400;\">For eksempel virker det effektivt \u00e5 bruke ML-modeller som de er fra et bibliotek, helt til du sitter fast med et mareritt av \"limkode\", der det meste av systemet bare er gaffateip som holder sammen biter og brikker som ikke var ment \u00e5 passe sammen.\u00a0<\/span><\/p>\n<p>Eller ta \"r\u00f8rledningsjungler\", beskrevet i en <a href=\"https:\/\/proceedings.neurips.cc\/paper_files\/paper\/2015\/file\/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf\" target=\"_blank\" rel=\"noopener\">tidligere artikkel av D. Sculley<\/a> og kolleger, der databearbeiding blir en labyrint av sammenflettede prosesser, slik at det \u00e5 gj\u00f8re en endring f\u00f8les som \u00e5 desarmere en bombe.<\/p>\n<h3>Konsekvensene av teknisk gjeld<\/h3>\n<p><span style=\"font-weight: 400;\">For det f\u00f8rste er det vanskeligere \u00e5 forbedre eller vedlikeholde et system jo mer innfl\u00f8kt det er. Dette hemmer ikke bare innovasjon, men kan ogs\u00e5 f\u00f8re til mer uhyggelige problemer.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Hvis et ML-system for eksempel begynner \u00e5 ta beslutninger basert p\u00e5 utdaterte eller partiske data fordi det er for tungvint \u00e5 oppdatere, kan det forsterke eller <\/span><a href=\"https:\/\/dailyai.com\/nb\/2023\/07\/-39\/\"><span style=\"font-weight: 400;\">forsterke samfunnsmessige fordommer<\/span><\/a><span style=\"font-weight: 400;\">.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">I kritiske bruksomr\u00e5der som <\/span><a href=\"https:\/\/dailyai.com\/nb\/2024\/02\/does-ai-display-racial-and-gender-bias-when-evaluating-images\/\"><span style=\"font-weight: 400;\">helsetjenester<\/span><\/a><span style=\"font-weight: 400;\"> eller autonome kj\u00f8ret\u00f8y, kan en slik teknisk gjeld f\u00e5 alvorlige konsekvenser, ikke bare i form av tid og penger, men ogs\u00e5 for menneskers velferd.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Som studien beskriver: \"Ikke all gjeld er n\u00f8dvendigvis d\u00e5rlig, men teknisk gjeld har en tendens til \u00e5 \u00f8ke. \u00c5 utsette arbeidet for \u00e5 betale den f\u00f8rer til \u00f8kte kostnader, et skj\u00f8rt system og redusert innovasjonstakt.\"<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Det er ogs\u00e5 en p\u00e5minnelse til bedrifter og forbrukere om \u00e5 kreve \u00e5penhet og ansvarlighet n\u00e5r det gjelder AI-teknologiene de tar i bruk. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">M\u00e5let er tross alt \u00e5 utnytte kraften i kunstig intelligens til \u00e5 gj\u00f8re livet bedre, ikke \u00e5 havne i en endel\u00f8s syklus med nedbetaling av teknisk gjeld.<\/span><\/p>\n<h2>Studie 2: Du kan ikke skille hallusinasjoner fra LLM-er<\/h2>\n<p>I en annen, men <a href=\"https:\/\/arxiv.org\/pdf\/2401.11817.pdf\" target=\"_blank\" rel=\"noopener\">relatert studie<\/a> fra National University of Singapore unders\u00f8kte forskerne Ziwei Xu, Sanjay Jain og Mohan Kankanhalli de iboende begrensningene ved LLM-er.<\/p>\n<p><span style=\"font-weight: 400;\">\"Hallusinasjon er uunng\u00e5elig: An Innate Limitation of Large Language Models\" handler om AI-hallusinasjoner, som beskriver tilfeller der AI-systemer genererer plausibel, men un\u00f8yaktig eller helt oppdiktet informasjon.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Hallusinasjonsfenomenene utgj\u00f8r en stor teknisk utfordring, ettersom de belyser et fundamentalt gap mellom resultatet av en AI-modell og det som anses som \"sannheten\" - en ideell modell som alltid produserer korrekt og logisk informasjon.\u00a0<\/span><\/p>\n<p>\u00c5 forst\u00e5 hvordan og hvorfor generativ AI hallusinerer, er avgj\u00f8rende n\u00e5r teknologien integreres i kritiske sektorer som politi- og rettsvesen, helsevesen og juridiske tjenester.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">Hva om man kunne *bevise* at hallusinasjoner er uunng\u00e5elige innenfor LLM?<\/p>\n<p>Ville det endre<br \/>\n- Hvordan ser du p\u00e5 LLM?<br \/>\n- Hvor mye vil du investere i dem?<br \/>\n- Hvor mye vil du prioritere forskning p\u00e5 alternativer?<\/p>\n<p>Det viser en ny artikkel: <a href=\"https:\/\/t.co\/r0eP3mFxQg\">https:\/\/t.co\/r0eP3mFxQg<\/a><br \/>\nh\/t... <a href=\"https:\/\/t.co\/Id2kdaCSGk\">pic.twitter.com\/Id2kdaCSGk<\/a><\/p>\n<p>- Gary Marcus @ AAAI 2024 (@GaryMarcus) <a href=\"https:\/\/twitter.com\/GaryMarcus\/status\/1761764524674457662?ref_src=twsrc%5Etfw\">25. februar 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h3>Teoretisk grunnlag for hallusinasjoner<\/h3>\n<p><span style=\"font-weight: 400;\">Studien begynner med \u00e5 legge frem et teoretisk rammeverk for \u00e5 forst\u00e5 hallusinasjoner hos LLM-er.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Forskere c<\/span><span style=\"font-weight: 400;\">reated en teoretisk modell kjent som \"den formelle verden\". Dette forenklede, kontrollerte milj\u00f8et gjorde det mulig for dem \u00e5 observere under hvilke forhold AI-modeller ikke stemmer overens med virkeligheten.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Deretter testet de to store familier av LLM-er:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Lama 2<\/b><span style=\"font-weight: 400;\">: Spesifikt ble versjonen med 70 milliarder parametere (llama2-70b-chat-hf) som er tilgjengelig p\u00e5 HuggingFace, brukt. Denne modellen er en av de nyere modellene for store spr\u00e5kmodeller, og er utviklet for et bredt spekter av tekstgenererings- og forst\u00e5elsesoppgaver.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Generative forh\u00e5ndstrenede transformatorer (GPT)<\/b><span style=\"font-weight: 400;\">: Studien omfattet tester p\u00e5 GPT-3.5, n\u00e6rmere bestemt modellen gpt-3.5-turbo-16k med 175 milliarder parametere, og GPT-4 (gpt-4-0613), der det n\u00f8yaktige antallet parametere ikke er oppgitt.\u00a0<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">LLM-ene ble bedt om \u00e5 liste opp strenger av en gitt lengde ved hjelp av et spesifisert alfabet, en tilsynelatende enkel beregningsoppgave.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mer spesifikt fikk modellene i oppgave \u00e5 generere alle mulige strenger med lengder fra 1 til 7, ved hjelp av alfabeter med to tegn (f.eks. {a, b}) og tre tegn (f.eks. {a, b, c}).<\/span><\/p>\n<p><span style=\"font-weight: 400;\"> Utdataene ble evaluert basert p\u00e5 om de inneholdt alle og bare strengene med den angitte lengden fra det gitte alfabetet.<\/span><\/p>\n<h3>Resultater<\/h3>\n<p><span style=\"font-weight: 400;\">Resultatene viste en klar begrensning i modellenes evne til \u00e5 fullf\u00f8re oppgaven korrekt etter hvert som kompleksiteten \u00f8kte (dvs. etter hvert som strenglengden eller st\u00f8rrelsen p\u00e5 alfabetet \u00f8kte). N\u00e6rmere bestemt<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Modellene fungerte tilfredsstillende for kortere strenger og mindre alfabeter, men sviktet etter hvert som oppgavens kompleksitet \u00f8kte.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Selv den avanserte GPT-4-modellen, den mest sofistikerte LLM-modellen som er tilgjengelig akkurat n\u00e5, klarte ikke \u00e5 liste opp alle strenger over en viss lengde.<\/span><\/li>\n<\/ul>\n<p>Dette viser at hallusinasjoner ikke er en enkel feil som kan fikses eller korrigeres - de er et grunnleggende aspekt ved hvordan disse modellene forst\u00e5r og gjenskaper menneskelig spr\u00e5k.<\/p>\n<p>Som studien beskriver, <span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\">\"LLM-er kan ikke l\u00e6re alt <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">av<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> de beregnbare funksjonene og vil derfor alltid hallusinere. Siden den formelle verden <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">er<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> en del <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">av<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> den virkelige verden som <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">er<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> mye mer komplisert, hallusinasjoner er ogs\u00e5 <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">uunng\u00e5elig<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> for LLM-er i den virkelige verden.\"<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Konsekvensene for s\u00f8knader der det st\u00e5r mye p\u00e5 spill, er enorme. I sektorer som helse, finans og juss, der n\u00f8yaktigheten av informasjon kan f\u00e5 alvorlige konsekvenser, kan det \u00e5 stole p\u00e5 en LLM uten en sikkerhetsmekanisme for \u00e5 filtrere bort disse hallusinasjonene f\u00f8re til alvorlige feil.<\/span><\/p>\n<p>Denne studien ble lagt merke til av AI-eksperten Dr. Gary Marcus og den fremtredende kognitive psykologen Dr. Steven Pinker.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">Hallusinasjoner er uunng\u00e5elige med store spr\u00e5kmodeller p\u00e5 grunn av deres design: ingen representasjon av fakta eller ting, bare statistiske interkorrelasjoner. Nytt bevis p\u00e5 \"en medf\u00f8dt begrensning\" ved LLM-er. <a href=\"https:\/\/t.co\/Hl1kqxJGXt\">https:\/\/t.co\/Hl1kqxJGXt<\/a><\/p>\n<p>- Steven Pinker (@sapinker) <a href=\"https:\/\/twitter.com\/sapinker\/status\/1761801185181200410?ref_src=twsrc%5Etfw\">25. februar 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h2>Dypereliggende problemer spiller inn<\/h2>\n<p><span style=\"font-weight: 400;\">Akkumuleringen av teknisk gjeld og de uunng\u00e5elige hallusinasjonene i LLM-er er symptomatiske for et dypere problem - det n\u00e5v\u00e6rende paradigmet for AI-utvikling kan i seg selv v\u00e6re feil innrettet for \u00e5 skape h\u00f8yintelligente systemer som p\u00e5 en p\u00e5litelig m\u00e5te er i tr\u00e5d med menneskelige verdier og faktiske sannheter.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">P\u00e5 sensitive omr\u00e5der er det ikke nok \u00e5 ha et AI-system som har rett mesteparten av tiden. B\u00e5de teknisk gjeld og hallusinasjoner truer modellintegriteten over tid.\u00a0<\/span><\/p>\n<p>\u00c5 l\u00f8se dette er ikke bare en teknisk utfordring, men en tverrfaglig utfordring som krever innspill fra AI-etikk, politikk og domenespesifikk ekspertise for \u00e5 navigere trygt.<\/p>\n<p>Akkurat n\u00e5 er dette tilsynelatende i strid med prinsippene til en bransje som lever opp til mottoet \"move fast and break things\".<\/p>\n<p>La oss h\u00e5pe at det ikke er mennesker som er \"tingene\".<\/p>","protected":false},"excerpt":{"rendered":"<p>Etter hvert som AI-systemer som store spr\u00e5kmodeller (LLM-er) vokser i st\u00f8rrelse og kompleksitet, avdekker forskere spennende grunnleggende begrensninger.  Nyere studier fra Google og University of Singapore har avdekket mekanismene bak AI-\"hallusinasjoner\" - der modeller genererer overbevisende, men fabrikkert informasjon - og akkumuleringen av \"teknisk gjeld\", som kan skape rotete, up\u00e5litelige systemer over tid. I tillegg til de tekniske utfordringene er det fortsatt et \u00e5pent sp\u00f8rsm\u00e5l om AIs evner og insentiver er i tr\u00e5d med menneskelige verdier. N\u00e5r selskaper som OpenAI g\u00e5r i retning av kunstig generell intelligens (AGI), er det viktig \u00e5 erkjenne grensene for dagens systemer for \u00e5 sikre veien videre. Det er imidlertid viktig \u00e5 erkjenne risikoene n\u00f8ye.<\/p>","protected":false},"author":2,"featured_media":10364,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[84],"tags":[480,118],"class_list":["post-10342","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-industry","tag-hallucinations","tag-llms"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Generative AI systems, hallucinations, and mounting technical debt | DailyAI<\/title>\n<meta name=\"description\" content=\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/dailyai.com\/nb\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/\" \/>\n<meta property=\"og:locale\" content=\"nb_NO\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Generative AI systems, hallucinations, and mounting technical debt | DailyAI\" \/>\n<meta property=\"og:description\" content=\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\" \/>\n<meta property=\"og:url\" content=\"https:\/\/dailyai.com\/nb\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/\" \/>\n<meta property=\"og:site_name\" content=\"DailyAI\" \/>\n<meta property=\"article:published_time\" content=\"2024-02-27T18:58:26+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-03-28T00:37:55+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1000\" \/>\n\t<meta property=\"og:image:height\" content=\"667\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Sam Jeans\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DailyAIOfficial\" \/>\n<meta name=\"twitter:site\" content=\"@DailyAIOfficial\" \/>\n<meta name=\"twitter:label1\" content=\"Skrevet av\" \/>\n\t<meta name=\"twitter:data1\" content=\"Sam Jeans\" \/>\n\t<meta name=\"twitter:label2\" content=\"Ansl. lesetid\" \/>\n\t<meta name=\"twitter:data2\" content=\"7 minutter\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"NewsArticle\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"},\"author\":{\"name\":\"Sam Jeans\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/person\\\/711e81f945549438e8bbc579efdeb3c9\"},\"headline\":\"Generative AI systems, hallucinations, and mounting technical debt\",\"datePublished\":\"2024-02-27T18:58:26+00:00\",\"dateModified\":\"2024-03-28T00:37:55+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"},\"wordCount\":1569,\"publisher\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"keywords\":[\"Hallucinations\",\"LLMS\"],\"articleSection\":{\"1\":\"Industry\"},\"inLanguage\":\"nb-NO\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\",\"url\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\",\"name\":\"Generative AI systems, hallucinations, and mounting technical debt | DailyAI\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"datePublished\":\"2024-02-27T18:58:26+00:00\",\"dateModified\":\"2024-03-28T00:37:55+00:00\",\"description\":\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#breadcrumb\"},\"inLanguage\":\"nb-NO\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"nb-NO\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"contentUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"width\":1000,\"height\":667,\"caption\":\"technical debt AI\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/dailyai.com\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Generative AI systems, hallucinations, and mounting technical debt\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#website\",\"url\":\"https:\\\/\\\/dailyai.com\\\/\",\"name\":\"DailyAI\",\"description\":\"Your Daily Dose of AI News\",\"publisher\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/dailyai.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"nb-NO\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\",\"name\":\"DailyAI\",\"url\":\"https:\\\/\\\/dailyai.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"nb-NO\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2023\\\/06\\\/Daily-Ai_TL_colour.png\",\"contentUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2023\\\/06\\\/Daily-Ai_TL_colour.png\",\"width\":4501,\"height\":934,\"caption\":\"DailyAI\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/x.com\\\/DailyAIOfficial\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/dailyaiofficial\\\/\",\"https:\\\/\\\/www.youtube.com\\\/@DailyAIOfficial\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/person\\\/711e81f945549438e8bbc579efdeb3c9\",\"name\":\"Sam Jeans\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"nb-NO\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"caption\":\"Sam Jeans\"},\"description\":\"Sam is a science and technology writer who has worked in various AI startups. When he\u2019s not writing, he can be found reading medical journals or digging through boxes of vinyl records.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/sam-jeans-6746b9142\\\/\"],\"url\":\"https:\\\/\\\/dailyai.com\\\/nb\\\/author\\\/samjeans\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Generative AI-systemer, hallusinasjoner og \u00f8kende teknisk gjeld | DailyAI","description":"Etter hvert som AI-systemer som store spr\u00e5kmodeller (LLM-er) vokser i st\u00f8rrelse og kompleksitet, avdekker forskerne spennende grunnleggende begrensninger.\u00a0","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/dailyai.com\/nb\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","og_locale":"nb_NO","og_type":"article","og_title":"Generative AI systems, hallucinations, and mounting technical debt | DailyAI","og_description":"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0","og_url":"https:\/\/dailyai.com\/nb\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","og_site_name":"DailyAI","article_published_time":"2024-02-27T18:58:26+00:00","article_modified_time":"2024-03-28T00:37:55+00:00","og_image":[{"width":1000,"height":667,"url":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","type":"image\/jpeg"}],"author":"Sam Jeans","twitter_card":"summary_large_image","twitter_creator":"@DailyAIOfficial","twitter_site":"@DailyAIOfficial","twitter_misc":{"Skrevet av":"Sam Jeans","Ansl. lesetid":"7 minutter"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"NewsArticle","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#article","isPartOf":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"},"author":{"name":"Sam Jeans","@id":"https:\/\/dailyai.com\/#\/schema\/person\/711e81f945549438e8bbc579efdeb3c9"},"headline":"Generative AI systems, hallucinations, and mounting technical debt","datePublished":"2024-02-27T18:58:26+00:00","dateModified":"2024-03-28T00:37:55+00:00","mainEntityOfPage":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"},"wordCount":1569,"publisher":{"@id":"https:\/\/dailyai.com\/#organization"},"image":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"thumbnailUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","keywords":["Hallucinations","LLMS"],"articleSection":{"1":"Industry"},"inLanguage":"nb-NO"},{"@type":"WebPage","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","url":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","name":"Generative AI-systemer, hallusinasjoner og \u00f8kende teknisk gjeld | DailyAI","isPartOf":{"@id":"https:\/\/dailyai.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"image":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"thumbnailUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","datePublished":"2024-02-27T18:58:26+00:00","dateModified":"2024-03-28T00:37:55+00:00","description":"Etter hvert som AI-systemer som store spr\u00e5kmodeller (LLM-er) vokser i st\u00f8rrelse og kompleksitet, avdekker forskerne spennende grunnleggende begrensninger.\u00a0","breadcrumb":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#breadcrumb"},"inLanguage":"nb-NO","potentialAction":[{"@type":"ReadAction","target":["https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"]}]},{"@type":"ImageObject","inLanguage":"nb-NO","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage","url":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","contentUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","width":1000,"height":667,"caption":"technical debt AI"},{"@type":"BreadcrumbList","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/dailyai.com\/"},{"@type":"ListItem","position":2,"name":"Generative AI systems, hallucinations, and mounting technical debt"}]},{"@type":"WebSite","@id":"https:\/\/dailyai.com\/#website","url":"https:\/\/dailyai.com\/","name":"DagligAI","description":"Din daglige dose med AI-nyheter","publisher":{"@id":"https:\/\/dailyai.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/dailyai.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"nb-NO"},{"@type":"Organization","@id":"https:\/\/dailyai.com\/#organization","name":"DagligAI","url":"https:\/\/dailyai.com\/","logo":{"@type":"ImageObject","inLanguage":"nb-NO","@id":"https:\/\/dailyai.com\/#\/schema\/logo\/image\/","url":"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/Daily-Ai_TL_colour.png","contentUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/Daily-Ai_TL_colour.png","width":4501,"height":934,"caption":"DailyAI"},"image":{"@id":"https:\/\/dailyai.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/x.com\/DailyAIOfficial","https:\/\/www.linkedin.com\/company\/dailyaiofficial\/","https:\/\/www.youtube.com\/@DailyAIOfficial"]},{"@type":"Person","@id":"https:\/\/dailyai.com\/#\/schema\/person\/711e81f945549438e8bbc579efdeb3c9","name":"Sam Jeans","image":{"@type":"ImageObject","inLanguage":"nb-NO","@id":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","caption":"Sam Jeans"},"description":"Sam er en vitenskaps- og teknologiskribent som har jobbet i ulike oppstartsbedrifter innen kunstig intelligens. N\u00e5r han ikke skriver, leser han medisinske tidsskrifter eller graver seg gjennom esker med vinylplater.","sameAs":["https:\/\/www.linkedin.com\/in\/sam-jeans-6746b9142\/"],"url":"https:\/\/dailyai.com\/nb\/author\/samjeans\/"}]}},"_links":{"self":[{"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/posts\/10342","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/comments?post=10342"}],"version-history":[{"count":11,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/posts\/10342\/revisions"}],"predecessor-version":[{"id":10427,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/posts\/10342\/revisions\/10427"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/media\/10364"}],"wp:attachment":[{"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/media?parent=10342"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/categories?post=10342"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dailyai.com\/nb\/wp-json\/wp\/v2\/tags?post=10342"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}