{"id":13599,"date":"2024-07-28T17:00:03","date_gmt":"2024-07-28T17:00:03","guid":{"rendered":"https:\/\/dailyai.com\/?p=13599"},"modified":"2024-07-29T09:48:32","modified_gmt":"2024-07-29T09:48:32","slug":"ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/07\/ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds\/","title":{"rendered":"Onderzoek toont aan dat AI-modellen instorten wanneer ze worden getraind op AI-gegenereerde gegevens"},"content":{"rendered":"

Uit een nieuw onderzoek, gepubliceerd in Nature, blijkt dat AI-modellen, waaronder grote taalmodellen (LLM's), snel in kwaliteit achteruitgaan als ze worden getraind op gegevens die door eerdere AI-modellen zijn gegenereerd.\u00a0<\/b><\/p>\n

Dit fenomeen, dat \"model collapse\" wordt genoemd, kan de kwaliteit van toekomstige AI-modellen aantasten, vooral naarmate er meer AI-gegenereerde inhoud op het internet wordt gezet en dus wordt gerecycled en hergebruikt als trainingsgegevens voor modellen.\u00a0<\/span><\/p>\n

Om dit fenomeen te onderzoeken, hebben onderzoekers van de Universiteit van Cambridge, de Universiteit van Oxford en andere instellingen uitgevoerde experimenten<\/a> waaruit blijkt dat AI-modellen onzinnige resultaten genereren als ze herhaaldelijk worden getraind op gegevens die door eerdere versies van zichzelf zijn geproduceerd.\u00a0<\/span><\/p>\n

Dit werd waargenomen bij verschillende soorten AI-modellen, waaronder taalmodellen, variationele autoencoders en Gaussische mengmodellen.<\/span><\/p>\n

In een belangrijk experiment met taalmodellen verfijnde het team het OPT-125m model op de WikiText-2 dataset en gebruikte het vervolgens om nieuwe tekst te genereren. <\/span><\/p>\n

Deze door AI gegenereerde tekst werd vervolgens gebruikt om de volgende \"generatie\" van het model te trainen, en dit proces werd keer op keer herhaald.\u00a0<\/span><\/p>\n

Het duurde niet lang voordat de modellen steeds onwaarschijnlijkere en onzinnige teksten begonnen te produceren.\u00a0<\/span><\/p>\n

Bij de negende generatie genereerde het model complete wartaal, zoals het opsommen van meerdere niet-bestaande soorten \"haasjes\" bij een vraag over Engelse kerktorens.<\/span><\/p>\n

De onderzoekers zagen ook hoe modellen informatie verliezen over \"zeldzame\" of infrequente gebeurtenissen voordat ze volledig instorten.\u00a0<\/span><\/p>\n

Dit is alarmerend, omdat zeldzame gebeurtenissen vaak betrekking hebben op gemarginaliseerde groepen of uitschieters. Zonder hen lopen modellen het risico dat hun antwoorden zich concentreren op een smal spectrum van idee\u00ebn en overtuigingen, waardoor vooroordelen worden versterkt.<\/span><\/p>\n

AI-bedrijven zijn zich hiervan bewust, vandaar dat ze deals sluiten met nieuwsbedrijven en uitgevers om een constante stroom van kwalitatief hoogwaardige, door mensen geschreven, actueel relevante informatie veilig te stellen.\u00a0<\/span><\/p>\n

\"De boodschap is dat we heel voorzichtig moeten zijn met wat er in onze trainingsgegevens terechtkomt,\" aldus de onderzoekers. <\/span>onderzoek<\/span> co-auteur Zakhar Shumaylov van de Universiteit van Cambridge <\/span>vertelde Natuur<\/span><\/a>. \"Anders gaat het altijd, aantoonbaar, mis.\"<\/span><\/p>\n

Dit effect wordt nog versterkt door een recente <\/span>onderzoek<\/span><\/a> van Dr. Richard Fletcher, Director of Research bij het Reuters Institute for the Study of Journalism, ontdekte dat bijna de helft (48%) van de populairste nieuwssites wereldwijd nu ontoegankelijk zijn voor de crawlers van OpenAI, waarbij de AI-crawlers van Google door 24% van de sites worden geblokkeerd.<\/span><\/p>\n

Als gevolg hiervan hebben AI-modellen toegang tot een kleinere pool van hoogwaardige, recente gegevens dan vroeger, waardoor het risico toeneemt dat er wordt getraind op ondermaatse of verouderde gegevens.\u00a0<\/span><\/p>\n

Oplossingen voor het instorten van modellen<\/h2>\n

Wat betreft oplossingen stellen de onderzoekers dat het van vitaal belang is voor de toekomst van AI om toegang te houden tot originele, door mensen gegenereerde gegevensbronnen.\u00a0<\/span><\/p>\n

Het volgen en beheren van AI-gegenereerde inhoud zou ook nuttig zijn om te voorkomen dat het per ongeluk trainingsdatasets vervuilt. Dat zou erg lastig zijn, omdat AI-gegenereerde inhoud onmogelijk te detecteren is.\u00a0<\/span><\/p>\n

Onderzoekers stellen vier belangrijke oplossingen voor:<\/span><\/p>\n