{"id":10342,"date":"2024-02-27T18:58:26","date_gmt":"2024-02-27T18:58:26","guid":{"rendered":"https:\/\/dailyai.com\/?p=10342"},"modified":"2024-03-28T00:37:55","modified_gmt":"2024-03-28T00:37:55","slug":"generative-ai-systems-hallucinations-and-mounting-technical-debt","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","title":{"rendered":"Generative KI-Systeme, Halluzinationen und wachsende technische Schulden"},"content":{"rendered":"<p><strong>Mit der zunehmenden Gr\u00f6\u00dfe und Komplexit\u00e4t von KI-Systemen wie gro\u00dfen Sprachmodellen (Large Language Models, LLM) sto\u00dfen Forscher auf verbl\u00fcffende grundlegende Einschr\u00e4nkungen.\u00a0<\/strong><\/p>\n<p>J\u00fcngste Studien von Google und der Universit\u00e4t Singapur haben die Mechanismen aufgedeckt, die hinter KI-\"Halluzinationen\" - bei denen Modelle \u00fcberzeugende, aber gef\u00e4lschte Informationen erzeugen - und der Anh\u00e4ufung von \"technischen Schulden\" stehen, die im Laufe der Zeit zu unordentlichen, unzuverl\u00e4ssigen Systemen f\u00fchren k\u00f6nnen.<\/p>\n<p>Abgesehen von den technischen Herausforderungen bleibt es eine offene Frage, wie die F\u00e4higkeiten und Anreize der KI mit den menschlichen Werten in Einklang gebracht werden k\u00f6nnen.<\/p>\n<p>Da Unternehmen wie OpenAI auf dem Weg zu k\u00fcnstlicher allgemeiner Intelligenz (AGI) voranschreiten, bedeutet die Sicherung des vor uns liegenden Weges, dass wir die Grenzen der derzeitigen Systeme anerkennen m\u00fcssen.<\/p>\n<p><span style=\"font-weight: 400;\">Die vorsichtige W\u00fcrdigung von Risiken steht jedoch im Widerspruch zum Motto des Silicon Valley, das die KI-Forschung und -Entwicklung ebenso pr\u00e4gt wie die technologischen Innovationen vor ihr.\u00a0<\/span><\/p>\n<h2>Studie 1: KI-Modelle h\u00e4ufen \"technische Schulden\" an<\/h2>\n<p><span style=\"font-weight: 400;\">Maschinelles Lernen wird oft als kontinuierlich skalierbar angepriesen, wobei die Systeme einen modularen, integrierten Rahmen f\u00fcr die Entwicklung bieten.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Im Hintergrund k\u00f6nnen die Entwickler jedoch ein hohes Ma\u00df an \"technischen Schulden\" anh\u00e4ufen, die sie im Laufe der Zeit l\u00f6sen m\u00fcssen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">In einem <\/span><a href=\"https:\/\/storage.googleapis.com\/gweb-research2023-media\/pubtools\/pdf\/43146.pdf\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Google research paper<\/span><\/a><span style=\"font-weight: 400;\">\"Maschinelles Lernen: The High-Interest Credit Card of Technical Debt\" (Die hochverzinsliche Kreditkarte der technischen Schulden) diskutieren Forscher das Konzept der technischen Schulden im Kontext von ML-Systemen.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Der CEO von Kaggle und langj\u00e4hrige Google-Forscher D. Sculley und seine Kollegen argumentieren, dass ML zwar leistungsstarke Werkzeuge f\u00fcr den schnellen Aufbau komplexer Systeme bietet, diese \"schnellen Erfolge\" jedoch oft irref\u00fchrend sind.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Die Einfachheit und Schnelligkeit, mit der ML-Modelle eingesetzt werden, kann die k\u00fcnftigen Belastungen verdecken, die sie f\u00fcr die Wartbarkeit und Weiterentwicklung des Systems mit sich bringen. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Wie die Autoren beschreiben, entsteht diese versteckte Schuld durch mehrere ML-spezifische Risikofaktoren, die Entwickler vermeiden oder \u00fcberarbeiten sollten.<\/span><\/p>\n<p>Hier sind die wichtigsten Erkenntnisse:<\/p>\n<ul>\n<li><span style=\"font-weight: 400;\">ML-Systeme bringen naturgem\u00e4\u00df eine Komplexit\u00e4t mit sich, die \u00fcber die reine Kodierung hinausgeht. <\/span>Dies kann zu dem f\u00fchren, was die Autoren als \"Grenzerosion\" bezeichnen, bei der die klaren Grenzen zwischen den verschiedenen Systemkomponenten aufgrund der durch ML-Modelle geschaffenen Abh\u00e4ngigkeiten verwischt werden. Dies macht es schwierig, Verbesserungen zu isolieren und umzusetzen, ohne andere Teile des Systems zu beeintr\u00e4chtigen.<\/li>\n<li>In dem Papier wird auch das Problem der \"Verflechtung\" hervorgehoben, bei dem \u00c4nderungen an einem beliebigen Teil eines ML-Systems, z. B. an Eingabemerkmalen oder Modellparametern, unvorhersehbare Auswirkungen auf den Rest des Systems haben k\u00f6nnen. Die \u00c4nderung eines kleinen Parameters kann eine Kaskade von Effekten ausl\u00f6sen, die die Funktion und Integrit\u00e4t des gesamten Modells beeintr\u00e4chtigen.<\/li>\n<li>Ein weiteres Problem ist die Entstehung \"versteckter R\u00fcckkopplungsschleifen\", bei denen ML-Modelle ihre eigenen Trainingsdaten auf unvorhergesehene Weise beeinflussen. Dies kann zu Systemen f\u00fchren, die sich in unbeabsichtigte Richtungen entwickeln, was die Verwaltung und das Verst\u00e4ndnis des Systemverhaltens noch schwieriger macht.<\/li>\n<li>Die Autoren gehen auch auf \"Datenabh\u00e4ngigkeiten\" ein, z. B. wenn sich die Eingangssignale im Laufe der Zeit \u00e4ndern, was besonders problematisch ist, da sie schwerer zu erkennen sind.<\/li>\n<\/ul>\n<h3>Warum technische Schulden wichtig sind<\/h3>\n<p><span style=\"font-weight: 400;\">Technische Schulden betreffen die langfristige Gesundheit und Effizienz von ML-Systemen. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Wenn Entwickler sich beeilen, ML-Systeme zum Laufen zu bringen, ignorieren sie m\u00f6glicherweise die komplizierten Feinheiten der Datenverarbeitung oder die Fallstricke beim Zusammenkleben\" verschiedener Teile. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Das mag kurzfristig funktionieren, kann aber zu einem Wirrwarr f\u00fchren, das sich sp\u00e4ter nur schwer aufschl\u00fcsseln, aktualisieren oder gar verstehen l\u00e4sst.<\/span><\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">\u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f<\/p>\n<p>GenAI ist eine Lawine von technischen Schulden*, die nur darauf wartet, zu passieren<\/p>\n<p>Nur diese Woche<br \/>\n\ud83d\udc49ChatGPT ging \"berserk\" mit fast keiner wirklichen Erkl\u00e4rung<br \/>\n\ud83d\udc49Sora kann nicht konsequent ableiten, wie viele Beine eine Katze hat<br \/>\n\ud83d\udc49Gemini's Diversity-Intervention ist v\u00f6llig aus dem Ruder gelaufen.... <a href=\"https:\/\/t.co\/qzrVlpX9yz\">pic.twitter.com\/qzrVlpX9yz<\/a><\/p>\n<p>- Gary Marcus @ AAAI 2024 (@GaryMarcus) <a href=\"https:\/\/twitter.com\/GaryMarcus\/status\/1761414330577539340?ref_src=twsrc%5Etfw\">24. Februar 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\n<span style=\"font-weight: 400;\">Beispielsweise scheint die Verwendung von ML-Modellen aus einer Bibliothek effizient zu sein, bis man mit einem \"Klebecode\"-Albtraum konfrontiert wird, bei dem der gr\u00f6\u00dfte Teil des Systems nur aus Klebeband besteht, das Teile zusammenh\u00e4lt, die eigentlich nicht zusammenpassen sollten.\u00a0<\/span><\/p>\n<p>Oder denken Sie an den \"Pipeline-Dschungel\", der in einem <a href=\"https:\/\/proceedings.neurips.cc\/paper_files\/paper\/2015\/file\/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf\" target=\"_blank\" rel=\"noopener\">fr\u00fcheres Papier von D. Sculley<\/a> und Kollegen, bei denen die Datenaufbereitung zu einem Labyrinth verschlungener Prozesse wird, so dass sich eine \u00c4nderung wie die Entsch\u00e4rfung einer Bombe anf\u00fchlt.<\/p>\n<h3>Die Auswirkungen der technischen Schulden<\/h3>\n<p><span style=\"font-weight: 400;\">Je verworrener ein System ist, desto schwieriger ist es, es zu verbessern oder zu erhalten. Dies hemmt nicht nur die Innovation, sondern kann auch zu unangenehmen Problemen f\u00fchren.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Wenn ein ML-System beispielsweise anf\u00e4ngt, Entscheidungen auf der Grundlage veralteter oder voreingenommener Daten zu treffen, weil es zu m\u00fchsam ist, diese zu aktualisieren, kann dies zu einer Verst\u00e4rkung oder <\/span><a href=\"https:\/\/dailyai.com\/de\/2023\/07\/unmasking-the-deep-seated-biases-in-ai-systems\/\"><span style=\"font-weight: 400;\">gesellschaftliche Vorurteile verst\u00e4rken<\/span><\/a><span style=\"font-weight: 400;\">.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dar\u00fcber hinaus werden in kritischen Anwendungen wie <\/span><a href=\"https:\/\/dailyai.com\/de\/2024\/02\/does-ai-display-racial-and-gender-bias-when-evaluating-images\/\"><span style=\"font-weight: 400;\">Gesundheitswesen<\/span><\/a><span style=\"font-weight: 400;\"> oder autonomen Fahrzeugen k\u00f6nnte eine solche technische Verschuldung schwerwiegende Folgen haben, nicht nur in Bezug auf Zeit und Geld, sondern auch auf das menschliche Wohlbefinden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">In der Studie hei\u00dft es: \"Nicht alle Schulden sind notwendigerweise schlecht, aber technische Schulden neigen dazu, sich zu vermehren. Das Aufschieben der Arbeit, um sie abzubezahlen, f\u00fchrt zu steigenden Kosten, zur Br\u00fcchigkeit des Systems und zu geringeren Innovationsraten\".<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Es ist auch eine Mahnung an Unternehmen und Verbraucher, bei der Einf\u00fchrung von KI-Technologien Transparenz und Verantwortlichkeit zu fordern. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Schlie\u00dflich geht es darum, die M\u00f6glichkeiten der KI zu nutzen, um das Leben zu verbessern, und nicht darum, sich in einem endlosen Kreislauf der R\u00fcckzahlung technischer Schulden zu verzetteln.<\/span><\/p>\n<h2>Studie 2: Man kann Halluzinationen nicht von LLMs trennen<\/h2>\n<p>In einem anderen, aber <a href=\"https:\/\/arxiv.org\/pdf\/2401.11817.pdf\" target=\"_blank\" rel=\"noopener\">zugeh\u00f6rige Studie<\/a> der National University of Singapore untersuchten die Forscher Ziwei Xu, Sanjay Jain und Mohan Kankanhalli die inh\u00e4renten Grenzen von LLMs.<\/p>\n<p><span style=\"font-weight: 400;\">\"Halluzinationen sind unvermeidlich: An Innate Limitation of Large Language Models\" (Eine angeborene Einschr\u00e4nkung von gro\u00dfen Sprachmodellen) untersucht die Natur von KI-Halluzinationen, die F\u00e4lle beschreiben, in denen KI-Systeme plausible, aber ungenaue oder v\u00f6llig erfundene Informationen erzeugen.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Die Halluzinationsph\u00e4nomene stellen eine gro\u00dfe technische Herausforderung dar, da sie eine grundlegende Diskrepanz zwischen der Ausgabe eines KI-Modells und dem, was als \"Grundwahrheit\" angesehen wird - ein ideales Modell, das immer korrekte und logische Informationen liefert - aufzeigen.\u00a0<\/span><\/p>\n<p>Zu verstehen, wie und warum generative KI halluziniert, ist von entscheidender Bedeutung, da die Technologie in kritischen Bereichen wie Polizei und Justiz, Gesundheitswesen und Recht Einzug h\u00e4lt.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">Was w\u00e4re, wenn man *beweisen* k\u00f6nnte, dass Halluzinationen bei LLMs unvermeidlich sind?<\/p>\n<p>W\u00fcrde das etwas \u00e4ndern?<br \/>\n- Wie sehen Sie LLMs?<br \/>\n- Wie viel w\u00fcrden Sie in sie investieren?<br \/>\n- Welchen Stellenwert w\u00fcrden Sie der Erforschung von Alternativen einr\u00e4umen?<\/p>\n<p>Ein neues Papier liefert die Argumente: <a href=\"https:\/\/t.co\/r0eP3mFxQg\">https:\/\/t.co\/r0eP3mFxQg<\/a><br \/>\nh\/t... <a href=\"https:\/\/t.co\/Id2kdaCSGk\">pic.twitter.com\/Id2kdaCSGk<\/a><\/p>\n<p>- Gary Marcus @ AAAI 2024 (@GaryMarcus) <a href=\"https:\/\/twitter.com\/GaryMarcus\/status\/1761764524674457662?ref_src=twsrc%5Etfw\">25. Februar 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h3>Theoretische Grundlagen von Halluzinationen<\/h3>\n<p><span style=\"font-weight: 400;\">Die Studie beginnt damit, einen theoretischen Rahmen f\u00fcr das Verst\u00e4ndnis von Halluzinationen bei LLMs zu schaffen.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Forscher c<\/span><span style=\"font-weight: 400;\">Sie entwickelten ein theoretisches Modell, das als \"formale Welt\" bezeichnet wird. Diese vereinfachte, kontrollierte Umgebung erm\u00f6glichte es ihnen, die Bedingungen zu beobachten, unter denen KI-Modelle nicht mit der Grundwahrheit \u00fcbereinstimmen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Anschlie\u00dfend testeten sie zwei gro\u00dfe Familien von LLMs:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Lama 2<\/b><span style=\"font-weight: 400;\">: Konkret wurde die 70-Milliarden-Parameter-Version (llama2-70b-chat-hf) verwendet, die auf HuggingFace zug\u00e4nglich ist. Dieses Modell ist eines der neueren Modelle im Bereich der gro\u00dfen Sprachmodelle, das f\u00fcr eine breite Palette von Aufgaben zur Texterstellung und zum Textverst\u00e4ndnis entwickelt wurde.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Generative vortrainierte Transformatoren (GPT)<\/b><span style=\"font-weight: 400;\">: Die Studie umfasste Tests von GPT-3.5, insbesondere des 175-Milliarden-Parameter-Modells gpt-3.5-turbo-16k, und von GPT-4 (gpt-4-0613), dessen genaue Anzahl von Parametern nicht bekannt gegeben wurde.\u00a0<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">LLMs wurden gebeten, Zeichenketten einer bestimmten L\u00e4nge unter Verwendung eines bestimmten Alphabets aufzulisten - eine scheinbar einfache Rechenaufgabe.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Konkret sollten die Modelle alle m\u00f6glichen Zeichenfolgen mit einer L\u00e4nge von 1 bis 7 generieren, wobei Alphabete mit zwei Zeichen (z. B. {a, b}) und drei Zeichen (z. B. {a, b, c}) verwendet wurden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\"> Die Ausgaben wurden danach bewertet, ob sie alle und nur die Zeichenketten der angegebenen L\u00e4nge aus dem gegebenen Alphabet enthielten.<\/span><\/p>\n<h3>Fundst\u00fccke<\/h3>\n<p><span style=\"font-weight: 400;\">Die Ergebnisse zeigten, dass die F\u00e4higkeit der Modelle, die Aufgabe korrekt zu l\u00f6sen, mit zunehmender Komplexit\u00e4t (d. h. mit zunehmender L\u00e4nge der Zeichenkette oder Gr\u00f6\u00dfe des Alphabets) deutlich eingeschr\u00e4nkt ist. Genauer gesagt:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Die Modelle zeigten bei k\u00fcrzeren Zeichenfolgen und kleineren Alphabeten eine angemessene Leistung, gerieten jedoch ins Stocken, als die Komplexit\u00e4t der Aufgabe zunahm.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Selbst das fortgeschrittene GPT-4-Modell, das derzeit anspruchsvollste LLM, konnte nicht alle Zeichenketten jenseits bestimmter L\u00e4ngen auflisten.<\/span><\/li>\n<\/ul>\n<p>Dies zeigt, dass Halluzinationen keine einfache St\u00f6rung sind, die man ausbessern oder korrigieren kann - sie sind ein grundlegender Aspekt dessen, wie diese Modelle die menschliche Sprache verstehen und nachbilden.<\/p>\n<p>Wie in der Studie beschrieben, <span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\">\"LLMs k\u00f6nnen nicht alles lernen <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">von<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> die berechenbaren Funktionen und wird daher immer halluzinieren. Da die formale Welt <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">ist<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> ein Teil <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">von<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> die reale Welt, die <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">ist<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> viel komplizierter sind, sind auch Halluzinationen <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">Unvermeidlich<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> f\u00fcr LLMs der realen Welt\".<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Die Auswirkungen auf wichtige Anwendungen sind enorm. In Sektoren wie dem Gesundheitswesen, dem Finanzwesen oder dem Rechtswesen, in denen die Genauigkeit von Informationen schwerwiegende Folgen haben kann, k\u00f6nnte das Vertrauen auf ein LLM ohne eine Ausfallsicherung zum Herausfiltern dieser Halluzinationen zu schwerwiegenden Fehlern f\u00fchren.<\/span><\/p>\n<p>Diese Studie erregte die Aufmerksamkeit des KI-Experten Dr. Gary Marcus und des renommierten Kognitionspsychologen Dr. Steven Pinker.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">Halluzinationen sind bei Large Language Models aufgrund ihres Designs unvermeidlich: keine Darstellung von Fakten oder Dingen, nur statistische Interkorrelationen. Neuer Beweis f\u00fcr \"eine angeborene Einschr\u00e4nkung\" von LLMs. <a href=\"https:\/\/t.co\/Hl1kqxJGXt\">https:\/\/t.co\/Hl1kqxJGXt<\/a><\/p>\n<p>- Steven Pinker (@sapinker) <a href=\"https:\/\/twitter.com\/sapinker\/status\/1761801185181200410?ref_src=twsrc%5Etfw\">25. Februar 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h2>Tiefer gehende Probleme sind im Spiel<\/h2>\n<p><span style=\"font-weight: 400;\">Die Anh\u00e4ufung technischer Schulden und die Unvermeidbarkeit von Halluzinationen bei LLMs sind symptomatisch f\u00fcr ein tieferes Problem - das derzeitige Paradigma der KI-Entwicklung ist m\u00f6glicherweise von Natur aus falsch ausgerichtet, um hochintelligente Systeme zu schaffen und zuverl\u00e4ssig mit menschlichen Werten und der faktischen Wahrheit in Einklang zu bringen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">In sensiblen Bereichen reicht es nicht aus, ein KI-System zu haben, das die meiste Zeit \u00fcber richtig liegt. Technische Schulden und Halluzinationen bedrohen mit der Zeit die Modellintegrit\u00e4t.\u00a0<\/span><\/p>\n<p>Die L\u00f6sung dieses Problems ist nicht nur eine technische, sondern eine multidisziplin\u00e4re Herausforderung, die Beitr\u00e4ge aus den Bereichen KI-Ethik, Politik und dom\u00e4nenspezifisches Fachwissen erfordert, um sicher zu navigieren.<\/p>\n<p>Im Moment scheint dies im Widerspruch zu den Grunds\u00e4tzen einer Branche zu stehen, die nach dem Motto lebt: \"move fast and break things\".<\/p>\n<p>Hoffen wir, dass die Menschen nicht die \"Dinger\" sind.<\/p>","protected":false},"excerpt":{"rendered":"<p>W\u00e4hrend KI-Systeme wie gro\u00dfe Sprachmodelle (LLMs) immer gr\u00f6\u00dfer und komplexer werden, entdecken Forscher faszinierende grundlegende Grenzen.  J\u00fcngste Studien von Google und der Universit\u00e4t Singapur haben die Mechanismen hinter KI-\"Halluzinationen\" - bei denen Modelle \u00fcberzeugende, aber gef\u00e4lschte Informationen generieren - und die Anh\u00e4ufung von \"technischen Schulden\" aufgedeckt, die im Laufe der Zeit zu unordentlichen, unzuverl\u00e4ssigen Systemen f\u00fchren k\u00f6nnen. Abgesehen von den technischen Herausforderungen bleibt es eine offene Frage, die F\u00e4higkeiten und Anreize der KI mit den menschlichen Werten in Einklang zu bringen. Da Unternehmen wie OpenAI in Richtung k\u00fcnstliche allgemeine Intelligenz (AGI) vorsto\u00dfen, bedeutet die Sicherung des vor uns liegenden Weges, die Grenzen der derzeitigen Systeme anzuerkennen. Die sorgf\u00e4ltige Anerkennung von Risiken ist jedoch<\/p>","protected":false},"author":2,"featured_media":10364,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[84],"tags":[480,118],"class_list":["post-10342","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-industry","tag-hallucinations","tag-llms"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Generative AI systems, hallucinations, and mounting technical debt | DailyAI<\/title>\n<meta name=\"description\" content=\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/dailyai.com\/de\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Generative AI systems, hallucinations, and mounting technical debt | DailyAI\" \/>\n<meta property=\"og:description\" content=\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\" \/>\n<meta property=\"og:url\" content=\"https:\/\/dailyai.com\/de\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/\" \/>\n<meta property=\"og:site_name\" content=\"DailyAI\" \/>\n<meta property=\"article:published_time\" content=\"2024-02-27T18:58:26+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-03-28T00:37:55+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1000\" \/>\n\t<meta property=\"og:image:height\" content=\"667\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Sam Jeans\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DailyAIOfficial\" \/>\n<meta name=\"twitter:site\" content=\"@DailyAIOfficial\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Sam Jeans\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"7\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"NewsArticle\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"},\"author\":{\"name\":\"Sam Jeans\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/person\\\/711e81f945549438e8bbc579efdeb3c9\"},\"headline\":\"Generative AI systems, hallucinations, and mounting technical debt\",\"datePublished\":\"2024-02-27T18:58:26+00:00\",\"dateModified\":\"2024-03-28T00:37:55+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"},\"wordCount\":1569,\"publisher\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"keywords\":[\"Hallucinations\",\"LLMS\"],\"articleSection\":{\"1\":\"Industry\"},\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\",\"url\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\",\"name\":\"Generative AI systems, hallucinations, and mounting technical debt | DailyAI\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"datePublished\":\"2024-02-27T18:58:26+00:00\",\"dateModified\":\"2024-03-28T00:37:55+00:00\",\"description\":\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"contentUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"width\":1000,\"height\":667,\"caption\":\"technical debt AI\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/dailyai.com\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Generative AI systems, hallucinations, and mounting technical debt\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#website\",\"url\":\"https:\\\/\\\/dailyai.com\\\/\",\"name\":\"DailyAI\",\"description\":\"Your Daily Dose of AI News\",\"publisher\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/dailyai.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\",\"name\":\"DailyAI\",\"url\":\"https:\\\/\\\/dailyai.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2023\\\/06\\\/Daily-Ai_TL_colour.png\",\"contentUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2023\\\/06\\\/Daily-Ai_TL_colour.png\",\"width\":4501,\"height\":934,\"caption\":\"DailyAI\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/x.com\\\/DailyAIOfficial\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/dailyaiofficial\\\/\",\"https:\\\/\\\/www.youtube.com\\\/@DailyAIOfficial\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/person\\\/711e81f945549438e8bbc579efdeb3c9\",\"name\":\"Sam Jeans\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"caption\":\"Sam Jeans\"},\"description\":\"Sam is a science and technology writer who has worked in various AI startups. When he\u2019s not writing, he can be found reading medical journals or digging through boxes of vinyl records.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/sam-jeans-6746b9142\\\/\"],\"url\":\"https:\\\/\\\/dailyai.com\\\/de\\\/author\\\/samjeans\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Generative KI-Systeme, Halluzinationen und wachsende technische Schulden | DailyAI","description":"Mit der zunehmenden Gr\u00f6\u00dfe und Komplexit\u00e4t von KI-Systemen wie gro\u00dfen Sprachmodellen (Large Language Models, LLM) sto\u00dfen Forscher auf verbl\u00fcffende grundlegende Einschr\u00e4nkungen.\u00a0","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/dailyai.com\/de\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","og_locale":"de_DE","og_type":"article","og_title":"Generative AI systems, hallucinations, and mounting technical debt | DailyAI","og_description":"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0","og_url":"https:\/\/dailyai.com\/de\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","og_site_name":"DailyAI","article_published_time":"2024-02-27T18:58:26+00:00","article_modified_time":"2024-03-28T00:37:55+00:00","og_image":[{"width":1000,"height":667,"url":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","type":"image\/jpeg"}],"author":"Sam Jeans","twitter_card":"summary_large_image","twitter_creator":"@DailyAIOfficial","twitter_site":"@DailyAIOfficial","twitter_misc":{"Verfasst von":"Sam Jeans","Gesch\u00e4tzte Lesezeit":"7\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"NewsArticle","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#article","isPartOf":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"},"author":{"name":"Sam Jeans","@id":"https:\/\/dailyai.com\/#\/schema\/person\/711e81f945549438e8bbc579efdeb3c9"},"headline":"Generative AI systems, hallucinations, and mounting technical debt","datePublished":"2024-02-27T18:58:26+00:00","dateModified":"2024-03-28T00:37:55+00:00","mainEntityOfPage":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"},"wordCount":1569,"publisher":{"@id":"https:\/\/dailyai.com\/#organization"},"image":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"thumbnailUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","keywords":["Hallucinations","LLMS"],"articleSection":{"1":"Industry"},"inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","url":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","name":"Generative KI-Systeme, Halluzinationen und wachsende technische Schulden | DailyAI","isPartOf":{"@id":"https:\/\/dailyai.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"image":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"thumbnailUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","datePublished":"2024-02-27T18:58:26+00:00","dateModified":"2024-03-28T00:37:55+00:00","description":"Mit der zunehmenden Gr\u00f6\u00dfe und Komplexit\u00e4t von KI-Systemen wie gro\u00dfen Sprachmodellen (Large Language Models, LLM) sto\u00dfen Forscher auf verbl\u00fcffende grundlegende Einschr\u00e4nkungen.\u00a0","breadcrumb":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage","url":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","contentUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","width":1000,"height":667,"caption":"technical debt AI"},{"@type":"BreadcrumbList","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/dailyai.com\/"},{"@type":"ListItem","position":2,"name":"Generative AI systems, hallucinations, and mounting technical debt"}]},{"@type":"WebSite","@id":"https:\/\/dailyai.com\/#website","url":"https:\/\/dailyai.com\/","name":"DailyAI","description":"Ihre t\u00e4gliche Dosis an AI-Nachrichten","publisher":{"@id":"https:\/\/dailyai.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/dailyai.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/dailyai.com\/#organization","name":"DailyAI","url":"https:\/\/dailyai.com\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/dailyai.com\/#\/schema\/logo\/image\/","url":"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/Daily-Ai_TL_colour.png","contentUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/Daily-Ai_TL_colour.png","width":4501,"height":934,"caption":"DailyAI"},"image":{"@id":"https:\/\/dailyai.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/x.com\/DailyAIOfficial","https:\/\/www.linkedin.com\/company\/dailyaiofficial\/","https:\/\/www.youtube.com\/@DailyAIOfficial"]},{"@type":"Person","@id":"https:\/\/dailyai.com\/#\/schema\/person\/711e81f945549438e8bbc579efdeb3c9","name":"Sam Jeans","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","caption":"Sam Jeans"},"description":"Sam ist ein Wissenschafts- und Technologiewissenschaftler, der in verschiedenen KI-Startups gearbeitet hat. Wenn er nicht gerade schreibt, liest er medizinische Fachzeitschriften oder kramt in Kisten mit Schallplatten.","sameAs":["https:\/\/www.linkedin.com\/in\/sam-jeans-6746b9142\/"],"url":"https:\/\/dailyai.com\/de\/author\/samjeans\/"}]}},"_links":{"self":[{"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/posts\/10342","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/comments?post=10342"}],"version-history":[{"count":11,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/posts\/10342\/revisions"}],"predecessor-version":[{"id":10427,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/posts\/10342\/revisions\/10427"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/media\/10364"}],"wp:attachment":[{"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/media?parent=10342"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/categories?post=10342"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dailyai.com\/de\/wp-json\/wp\/v2\/tags?post=10342"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}