Een recent onderzoek van de Cornell University heeft licht geworpen op de capaciteiten van AI-chatbots zoals ChatGPT in het onthouden en reproduceren van gedichten, inclusief gedichten waar auteursrecht op rust.
Het onderzoek werpt ethische en auteursrechtelijke bezwaren op over de gegevensbronnen die worden gebruikt voor het trainen van AI. Rechtszaak New York Times en controverses bij Midjourney.
David Mimno, auteur van het onderzoek en universitair hoofddocent informatiewetenschappen, legde uit waarom ze voor gedichten kozen: "Ze zijn kort genoeg om in de contextgrootte van een taalmodel te passen. Hun status is ingewikkeld: veel van de gedichten die we bestudeerden vallen technisch gezien onder het auteursrecht, maar ze zijn ook algemeen verkrijgbaar bij gerenommeerde bronnen zoals de Poetry Foundation."
Gedichten op aanvraag: Vraag #ChatGPT om een bekend gedicht te vinden en het zal waarschijnlijk de hele tekst woordelijk overnemen - ongeacht de auteurswet - volgens een nieuw onderzoek door @CornellCIS onderzoekers. @CompHumResearch #LLM @dmimno https://t.co/MxQhQzc31c
- Cornell Chronicle (@CornellNews) 9 januari 2024
Het onderzoek omvatte ChatGPT en andere modellen zoals PaLM van Google AI, Pythia van EleutherAI en GPT-2 van OpenAI. D'Souza stelde een selectie van gedichten samen van 60 Amerikaanse dichters met verschillende achtergronden en legde deze voor aan deze modellen.
Onderzoekers gebruikten specifieke aanwijzingen om deze modellen om gedichten te vragen. Deze prompts varieerden, inclusief het vragen naar gedichten aan de hand van hun titels, auteurs of zelfs beginregels. Dit was belangrijk om te testen of de modellen het gevraagde gedicht nauwkeurig konden onthouden en reproduceren.
ChatGPT haalde met succes 72 van de 240 gedichten terug, terwijl PaLM er 10 voor elkaar kreeg, terwijl GPT-2 en Pythia slaagden er niet in om gedichten volledig terug te roepen.
De belangrijkste bepalende factor voor het vermogen van een chatbot om een gedicht te onthouden was de opname ervan in de poëziecanon, waarbij het ras, geslacht en het tijdperk van de dichter minder belangrijk waren.
Een gedicht dat gepubliceerd werd in de Norton Anthology of Poetry, in het bijzonder in de editie van 1983, was de meest betrouwbare indicator dat het uit het hoofd was geleerd en woordelijk was weergegeven.
Bovendien ontdekten de onderzoekers dat de reacties in de loop van de tijd veranderden, waarbij ChatGPT later onvoorspelbaar omging met auteursrechtelijk beschermde gedichten en soms verzoeken voor volledige woordelijke gedichten afwees.
Lyra D'Souza, auteur van het onderzoek, uitte zijn bezorgdheid aan de Cornell Chronicle over grote taalmodellen (LLM's) die uitgebreide teksten onthouden, met de nadruk op privacy en auteursrechtelijke implicaties: "Het is over het algemeen niet goed voor grote taalmodellen om grote stukken tekst te onthouden, deels omdat het een privacyprobleem is."
Dit onderzoek, dat momenteel gericht is op Amerikaanse poëzie, wil uitbreiden naar reacties op poëzie in verschillende talen en nagaan hoe specifieke poëtische kenmerken de waarschijnlijkheid van memoriseren beïnvloeden.
Hoewel het onderzoek auteursrechtelijk beschermde gedichten identificeert in trainingsgegevens en het vermogen van modellen om ze woordelijk op te roepen verduidelijkt, werpt het bovendien geen licht op waar ze vandaan komen.
Populaire gedichten verschijnen waarschijnlijk op veel plaatsen op het web, bijv. webfora, blogs, enz., dus het is geen verrassing dat ze goed terug te vinden zijn in datasets die van algemene webbronnen zijn geschraapt.
Hoe het onderzoek werkte
Hier is meer informatie over het onderzoek, De chatbot en de canon: Poëzie memoriseren in LLM'sgepresenteerd op de Computational Humanities Research Conference, bewerkt:
- Een gevarieerde poëziecollectie opbouwen: De onderzoekers stelden een dataset samen van 240 gedichten van 60 Amerikaanse dichters, met een breed scala aan tijdsperioden, etniciteit, geslacht en bekendheid. Voor het onderzoek werden verschillende taalmodellen gebruikt, waaronder ChatGPT, Google's PaLM, Pythia van EleutherAI en OpenAI's GPT-2.
- Aanwijzingen ontwerpen: Onderzoekers gebruikten specifieke aanwijzingen om deze modellen om gedichten te vragen. Deze aanwijzingen varieerden, waaronder het vragen naar gedichten op titel, auteur of zelfs beginregel.
- Modelreacties evalueren: De antwoorden van de AI-modellen werden geanalyseerd om te bepalen of ze de gevraagde gedichten nauwkeurig konden reproduceren. De belangrijkste maatstaf was de nauwkeurigheid van de reproductie, waarbij werd gecontroleerd of de modellen zich de exacte tekst van de gedichten konden herinneren.
- Factoren analyseren die het memoriseren beïnvloeden: De studie onderzocht ook factoren die van invloed zijn op het vermogen van een model om gedichten te onthouden. Hierbij werd onder andere geanalyseerd of de aanwezigheid van een gedicht of dichter in bekende bloemlezingen, zoals de Norton Anthology of Poetry, of het ras, geslacht en de lengte van de Wikipedia-pagina van de dichter invloed hadden op de waarschijnlijkheid dat een gedicht werd onthouden door de AI-modellen.
- Conclusies en implicaties: Het onderzoek concludeerde dat grotere modellen zoals ChatGPT en PaLM succesvoller waren in het onthouden en reproduceren van gedichten. Er werd benadrukt hoe AI-modellen die zijn getraind op gegevens die van het web zijn gehaald, bestaande literaire vooroordelen kunnen versterken.
Dit onderzoek onthulde niet alleen de mogelijkheden van AI bij het verwerken van poëzie, maar benadrukte ook de mogelijkheid dat bestaande literaire vooroordelen worden weerspiegeld en bestendigd door AI-modellen.
Als de mensheid begint te vertrouwen op AI als een soort encyclopedie, kunnen we er dan op vertrouwen dat het werken eerlijk weergeeft? Vanwege de inherente uitdagingen voor een eerlijke en diverse weergave van onderwerpen in trainingsgegevens, waarschijnlijk niet.
