{"id":13599,"date":"2024-07-28T17:00:03","date_gmt":"2024-07-28T17:00:03","guid":{"rendered":"https:\/\/dailyai.com\/?p=13599"},"modified":"2024-07-29T09:48:32","modified_gmt":"2024-07-29T09:48:32","slug":"ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/07\/ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds\/","title":{"rendered":"AI-modeller st\u00e5r overfor kollaps n\u00e5r de trenes p\u00e5 AI-genererte data, viser en studie"},"content":{"rendered":"

En ny studie publisert i Nature viser at AI-modeller, inkludert store spr\u00e5kmodeller (LLM), raskt blir d\u00e5rligere n\u00e5r de trenes opp p\u00e5 data generert av tidligere AI-modeller.\u00a0<\/b><\/p>\n

Dette fenomenet, som kalles \"modellkollaps\", kan svekke kvaliteten p\u00e5 fremtidige AI-modeller, s\u00e6rlig etter hvert som mer AI-generert innhold legges ut p\u00e5 internett og dermed resirkuleres og gjenbrukes i modelloppl\u00e6ringsdata.\u00a0<\/span><\/p>\n

Forskere fra University of Cambridge, University of Oxford og andre institusjoner har unders\u00f8kt dette fenomenet. gjennomf\u00f8rte eksperimenter<\/a> som viser at n\u00e5r AI-modeller trenes gjentatte ganger p\u00e5 data som er produsert av tidligere versjoner av dem selv, begynner de \u00e5 generere meningsl\u00f8se resultater.\u00a0<\/span><\/p>\n

Dette ble observert p\u00e5 tvers av ulike typer AI-modeller, inkludert spr\u00e5kmodeller, variasjonsautokodere og gaussiske blandingsmodeller.<\/span><\/p>\n

I et viktig eksperiment med spr\u00e5kmodeller finjusterte teamet OPT-125m-modellen p\u00e5 WikiText-2-datasettet, og brukte den deretter til \u00e5 generere ny tekst. <\/span><\/p>\n

Denne AI-genererte teksten ble deretter brukt til \u00e5 trene opp neste \"generasjon\" av modellen, og prosessen ble gjentatt om og om igjen.\u00a0<\/span><\/p>\n

Det tok ikke lang tid f\u00f8r modellene begynte \u00e5 produsere stadig mer usannsynlige og meningsl\u00f8se tekster.\u00a0<\/span><\/p>\n

I niende generasjon genererte modellen fullstendig volapyk, som for eksempel \u00e5 liste opp flere ikke-eksisterende typer \"jackrabbits\" n\u00e5r den ble spurt om engelske kirket\u00e5rn.<\/span><\/p>\n

Forskerne observerte ogs\u00e5 hvordan modellene mister informasjon om \"sjeldne\" eller sjeldne hendelser f\u00f8r de kollapser fullstendig.\u00a0<\/span><\/p>\n

Dette er alarmerende, ettersom sjeldne hendelser ofte er knyttet til marginaliserte grupper eller ekstremtilfeller. Uten dem risikerer modellene \u00e5 konsentrere svarene sine om et smalt spekter av ideer og oppfatninger, og dermed forsterke skjevheter.<\/span><\/p>\n

AI-selskapene er klar over dette, og derfor inng\u00e5r de avtaler med nyhetsselskaper og utgivere for \u00e5 sikre en jevn str\u00f8m av h\u00f8ykvalitets, menneskeskrevet, aktuell og relevant informasjon.\u00a0<\/span><\/p>\n

\"Budskapet er at vi m\u00e5 v\u00e6re sv\u00e6rt forsiktige med hva som havner i treningsdataene v\u00e5re\", sier han. <\/span>studie<\/span> medforfatter Zakhar Shumaylov fra University of Cambridge <\/span>fortalte naturen<\/span><\/a>. \"Ellers vil ting beviselig alltid g\u00e5 galt.\"<\/span><\/p>\n

For \u00e5 forsterke denne effekten har en nylig <\/span>studie<\/span><\/a> av Dr. Richard Fletcher, forskningsdirekt\u00f8r ved Reuters Institute for the Study of Journalism, fant at nesten halvparten (48%) av de mest popul\u00e6re nyhetsnettstedene over hele verden n\u00e5 er utilgjengelige for OpenAIs crawlere, mens Googles AI-crawlere er blokkert av 24% av nettstedene.<\/span><\/p>\n

Som et resultat av dette har AI-modeller tilgang til et mindre utvalg av nyere data av h\u00f8y kvalitet enn tidligere, noe som \u00f8ker risikoen for \u00e5 trene p\u00e5 data som ikke holder m\u00e5l eller er utdaterte.\u00a0<\/span><\/p>\n

L\u00f8sninger p\u00e5 modellkollaps<\/h2>\n

N\u00e5r det gjelder l\u00f8sninger, mener forskerne at det er avgj\u00f8rende for AIs fremtid \u00e5 opprettholde tilgangen til originale, menneskeskapte datakilder.\u00a0<\/span><\/p>\n

Sporing og h\u00e5ndtering av AI-generert innhold vil ogs\u00e5 v\u00e6re nyttig for \u00e5 forhindre at det ved et uhell forurenser oppl\u00e6ringsdatasettene. Det ville v\u00e6re sv\u00e6rt vanskelig, ettersom AI-generert innhold er i ferd med \u00e5 bli umulig \u00e5 oppdage.\u00a0<\/span><\/p>\n

Forskerne foresl\u00e5r fire hovedl\u00f8sninger:<\/span><\/p>\n