En nylig undersøgelse fra Cornell University har kastet lys over de evner, som AI-chatbots som ChatGPT har til at huske og gengive digte, også dem, der er omfattet af ophavsret.
Undersøgelsen rejser etiske og ophavsretlige spørgsmål om de datakilder, der bruges til at træne AI, et brandvarmt emne i branchen lige nu på grund af den nylige Retssag mod New York Times og Kontroverser på Midjourney.
David Mimno, der er forfatter til undersøgelsen og lektor i informationsvidenskab, forklarede, hvorfor de valgte digte: "De er korte nok til at passe ind i en sprogmodels kontekststørrelse. Deres status er kompliceret: Mange af de digte, vi studerede, er teknisk set under copyright, men de er også bredt tilgængelige fra velrenommerede kilder som Poetry Foundation."
Digte på bestilling: Spørg #ChatGPT for at finde et velkendt digt, og den vil sandsynligvis gengive hele teksten ordret - uanset loven om ophavsret - ifølge en ny undersøgelse foretaget af @CornellCIS forskere. @CompHumResearch #LLM @dmimno https://t.co/MxQhQzc31c
- Cornell Chronicle (@CornellNews) 9. januar 2024
Undersøgelsen omfattede ChatGPT og andre modeller som Google AI's PaLM, EleutherAI's Pythia og OpenAI's GPT-2. D'Souza samlede et udvalg af digte fra 60 amerikanske digtere med forskellige baggrunde og præsenterede dem for disse modeller.
Forskerne brugte specifikke opfordringer til at bede om digte fra disse modeller. Disse opfordringer varierede, herunder at bede om digte efter deres titler, forfattere eller endda startlinjer. Dette var vigtigt for at teste, om modellerne præcist kunne huske og gengive det ønskede digt.
ChatGPT hentede 72 af de 240 digte, mens PaLM klarede 10, mens GPT-2 og Pythia kunne ikke huske digte fuldt ud.
Den primære faktor for en chatbots evne til at huske et digt var dets optagelse i poesikanonen, mens digterens race, køn og tid var mindre vigtige.
At et digt blev udgivet i Norton Anthology of Poetry, især i 1983-udgaven, var den mest pålidelige indikator for, at det blev lært udenad og gengivet ordret.
Desuden fandt forskerne ud af, at svarene ændrede sig over tid, hvor ChatGPT senere håndterede ophavsretligt beskyttede digte uforudsigeligt og nogle gange afviste anmodninger om hele ordrette digte.
Lyra D'Souza, forfatter til undersøgelsen, udtrykte bekymring over for Cornell Chronicle om store sprogmodeller (LLM'er), der memorerer omfattende tekster, og fremhæver konsekvenserne for privatlivets fred og ophavsret: "Det er generelt ikke godt for store sprogmodeller at huske store tekststykker, blandt andet fordi det er et problem for privatlivets fred."
Denne forskning, der i øjeblikket fokuserer på amerikansk poesi, har til formål at udvide til at omfatte reaktioner på poesi på forskellige sprog og at vurdere, hvordan specifikke poetiske træk påvirker sandsynligheden for at huske.
Og selvom undersøgelsen identificerer copyright-digte i træningsdata og tydeliggør modellernes evne til at genkalde dem ordret, kaster den ikke lys over, hvor de stammer fra.
Populære digte optræder sandsynligvis mange steder på nettet, f.eks. på webfora, blogs osv., så det er ikke overraskende, at de bliver genkendt fra datasæt, der er indsamlet fra generelle webkilder.
Sådan fungerede undersøgelsen
Her er mere information om, hvordan undersøgelsen foregår, Chatbotten og kanonen: Udenadslære af poesi hos LLM'er, præsenteret på Computational Humanities Research Conference, arbejdet:
- Opbygning af en mangfoldig digtsamling: Forskerne udarbejdede et datasæt med 240 digte af 60 amerikanske digtere, der sikrede en bred vifte af tidsperioder, etnicitet, køn og berømmelse. Undersøgelsen involverede forskellige sprogmodeller, herunder ChatGPT, Googles PaLM, Pythia fra EleutherAI og OpenAI's GPT-2.
- Udformning af vejledninger: Forskerne brugte specifikke opfordringer til at bede om digte fra disse modeller. Disse opfordringer varierede, herunder at bede om digte efter deres titler, forfattere eller endda startlinjer.
- Evaluering af modelresponser: Svarene fra AI-modellerne blev analyseret for at afgøre, om de kunne gengive de ønskede digte nøjagtigt. Nøgletallet var nøjagtigheden af gengivelsen, hvilket indebar en kontrol af, om modellerne kunne genkalde sig den nøjagtige tekst i digtene.
- Analyse af faktorer, der påvirker memorering: Studiet undersøgte også faktorer, der påvirker en models evne til at huske digte. Det omfattede en analyse af, om tilstedeværelsen af et digt eller en digter i velkendte antologier som Norton Anthology of Poetry eller digterens race, køn og Wikipedia-sidernes længde påvirkede sandsynligheden for, at et digt blev lært udenad af AI-modellerne.
- Konklusioner og konsekvenser: Undersøgelsen konkluderede, at større modeller som ChatGPT og PaLM havde større succes med at huske og gengive digte. Det understregede, hvordan AI-modeller, der er trænet på web-scraped data, kan forstærke eksisterende litterære fordomme.
Denne undersøgelse afslørede ikke kun AI's evner til at behandle poesi, men fremhævede også potentialet for, at eksisterende litterære fordomme kan afspejles og videreføres af AI-modeller.
Hvis menneskeheden begynder at stole på AI som en slags encyklopædi, kan vi så stole på, at den repræsenterer værker retfærdigt? På grund af de iboende udfordringer med fair og forskelligartet repræsentation af emner i træningsdata, sandsynligvis ikke.
