{"id":13599,"date":"2024-07-28T17:00:03","date_gmt":"2024-07-28T17:00:03","guid":{"rendered":"https:\/\/dailyai.com\/?p=13599"},"modified":"2024-07-29T09:48:32","modified_gmt":"2024-07-29T09:48:32","slug":"ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/07\/ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds\/","title":{"rendered":"Studie: KI-Modelle brechen zusammen, wenn sie mit KI-generierten Daten trainiert werden"},"content":{"rendered":"

Eine neue Studie, die in Nature ver\u00f6ffentlicht wurde, zeigt, dass KI-Modelle, einschlie\u00dflich gro\u00dfer Sprachmodelle (LLMs), schnell an Qualit\u00e4t verlieren, wenn sie mit Daten trainiert werden, die von fr\u00fcheren KI-Modellen erzeugt wurden.\u00a0<\/b><\/p>\n

Dieses Ph\u00e4nomen, das als \"Modellkollaps\" bezeichnet wird, k\u00f6nnte die Qualit\u00e4t k\u00fcnftiger KI-Modelle beeintr\u00e4chtigen, insbesondere da immer mehr KI-generierte Inhalte im Internet ver\u00f6ffentlicht werden und somit als Trainingsdaten f\u00fcr Modelle wiederverwendet werden.\u00a0<\/span><\/p>\n

Um dieses Ph\u00e4nomen zu untersuchen, haben Forscher der Universit\u00e4t Cambridge, der Universit\u00e4t Oxford und anderer Institutionen durchgef\u00fchrte Experimente<\/a> die zeigt, dass KI-Modelle, wenn sie wiederholt mit Daten trainiert werden, die von fr\u00fcheren Versionen von ihnen selbst erzeugt wurden, unsinnige Ergebnisse erzeugen.\u00a0<\/span><\/p>\n

Dies wurde bei verschiedenen Arten von KI-Modellen beobachtet, darunter Sprachmodelle, Variations-Auto-Encoder und Gau\u00dfsche Mischmodelle.<\/span><\/p>\n

In einem Schl\u00fcsselexperiment mit Sprachmodellen stimmte das Team das OPT-125m-Modell auf den WikiText-2-Datensatz ab und verwendete es dann zur Generierung neuer Texte. <\/span><\/p>\n

Dieser von der KI generierte Text wurde dann verwendet, um die n\u00e4chste \"Generation\" des Modells zu trainieren, und der Vorgang wurde immer wieder wiederholt.\u00a0<\/span><\/p>\n

Es dauerte nicht lange, bis die Modelle anfingen, immer unwahrscheinlichere und unsinnigere Texte zu produzieren.\u00a0<\/span><\/p>\n

In der neunten Generation erzeugte das Modell v\u00f6lliges Kauderwelsch, z. B. listete es mehrere nicht existierende Arten von \"Jackrabbits\" auf, wenn es nach englischen Kircht\u00fcrmen gefragt wurde.<\/span><\/p>\n

Die Forscher beobachteten auch, wie Modelle Informationen \u00fcber \"seltene\" oder seltene Ereignisse verlieren, bevor sie vollst\u00e4ndig zusammenbrechen.\u00a0<\/span><\/p>\n

Dies ist alarmierend, da seltene Ereignisse oft Randgruppen oder Ausrei\u00dfer betreffen. Ohne sie besteht die Gefahr, dass die Modelle ihre Antworten auf ein enges Spektrum von Ideen und \u00dcberzeugungen konzentrieren und damit Vorurteile verst\u00e4rken.<\/span><\/p>\n

KI-Unternehmen sind sich dessen bewusst und schlie\u00dfen daher Vertr\u00e4ge mit Nachrichtenunternehmen und Verlagen ab, um sich einen st\u00e4ndigen Strom hochwertiger, von Menschen verfasster und thematisch relevanter Informationen zu sichern.\u00a0<\/span><\/p>\n

\"Die Botschaft ist, dass wir sehr vorsichtig sein m\u00fcssen, was in unsere Trainingsdaten einflie\u00dft\". <\/span>Studie<\/span> Mitautor Zakhar Shumaylov von der Universit\u00e4t Cambridge <\/span>sagte Natur<\/span><\/a>. \"Andernfalls werden die Dinge nachweislich immer schief gehen.\"<\/span><\/p>\n

Erschwerend kommt hinzu, dass eine aktuelle <\/span>Studie<\/span><\/a> von Dr. Richard Fletcher, Forschungsdirektor am Reuters Institute for the Study of Journalism, ergab, dass fast die H\u00e4lfte (48%) der beliebtesten Nachrichtenseiten weltweit f\u00fcr die Crawler von OpenAI unzug\u00e4nglich sind, wobei 24% der Seiten f\u00fcr die KI-Crawler von Google gesperrt sind.<\/span><\/p>\n

Infolgedessen haben KI-Modelle Zugang zu einem kleineren Pool hochwertiger, aktueller Daten als fr\u00fcher, was das Risiko erh\u00f6ht, dass sie mit minderwertigen oder veralteten Daten trainieren.\u00a0<\/span><\/p>\n

L\u00f6sungen f\u00fcr den Modellkollaps<\/h2>\n

Was die L\u00f6sungen betrifft, so stellen die Forscher fest, dass die Aufrechterhaltung des Zugangs zu urspr\u00fcnglichen, von Menschen erstellten Datenquellen f\u00fcr die Zukunft der KI von entscheidender Bedeutung ist.\u00a0<\/span><\/p>\n

Die Verfolgung und Verwaltung KI-generierter Inhalte w\u00e4re auch hilfreich, um zu verhindern, dass sie versehentlich Trainingsdaten verunreinigen. Das w\u00e4re sehr knifflig, da KI-generierte Inhalte nicht mehr zu erkennen sind.\u00a0<\/span><\/p>\n

Die Forscher schlagen vier Hauptl\u00f6sungen vor:<\/span><\/p>\n