En fersk studie fra Cornell University har belyst evnen AI-chatboter som ChatGPT har til å huske og reprodusere dikt, inkludert de som er opphavsrettslig beskyttet.
Studien reiser etiske og opphavsrettslige spørsmål om datakildene som brukes til å trene opp AI, et hett tema i bransjen akkurat nå på grunn av den nylige Søksmål mot New York Times og Kontroverser på Midjourney.
David Mimno, forfatter av studien og førsteamanuensis i informasjonsvitenskap, forklarte hvorfor de valgte dikt: "De er korte nok til å passe inn i kontekststørrelsen til en språkmodell. Diktenes status er komplisert: Mange av diktene vi har studert, er teknisk sett opphavsrettslig beskyttet, men de er også allment tilgjengelige fra anerkjente kilder som Poetry Foundation."
Dikt på bestilling: Spør #ChatGPT å finne et velkjent dikt, og den vil sannsynligvis gjenta hele teksten ordrett - uavhengig av opphavsrettsloven - ifølge en ny studie utført av @CornellCIS forskere. @CompHumResearch #LLM @dmimno https://t.co/MxQhQzc31c
- Cornell Chronicle (@CornellNews) 9. januar 2024
Studien omfattet ChatGPT og andre modeller som Google AIs PaLM, EleutherAIs Pythia og OpenAIs GPT-2. D'Souza samlet et utvalg dikt fra 60 amerikanske poeter med ulik bakgrunn og presenterte dem for disse modellene.
Forskerne brukte spesifikke spørsmål for å be om dikt fra disse modellene. Disse instruksjonene varierte, og inkluderte blant annet å be om diktene etter tittel, forfatter eller til og med begynnelseslinjer. Dette var viktig for å teste om modellene kunne huske og gjengi det forespurte diktet på en nøyaktig måte.
ChatGPT lyktes med å hente 72 av de 240 diktene, mens PaLM klarte 10, mens GPT-2 og Pythia klarte ikke å huske diktene fullt ut.
Den viktigste faktoren for en chatbots evne til å huske et dikt utenat var diktets tilhørighet til poesikanon, mens poetens rase, kjønn og tidsepoke var mindre viktig.
At et dikt ble publisert i Norton Anthology of Poetry, særlig i 1983-utgaven, var den sikreste indikatoren på at diktet ble lært utenat og gjengitt ordrett.
Forskerne fant dessuten ut at responsen endret seg over tid, og at ChatGPT senere håndterte opphavsrettsbeskyttede dikt på en uforutsigbar måte, og noen ganger avviste forespørsler om hele ordrette dikt.
Lyra D'Souza, forfatter av studien, uttrykte bekymring til Cornell Chronicle om store språkmodeller (LLM-er) som memorerer omfattende tekster, og fremhever personvern- og opphavsrettskonsekvenser: "Det er generelt ikke bra for store språkmodeller å huske store tekststykker, blant annet fordi det er problematisk med tanke på personvernet."
Denne forskningen, som for tiden fokuserer på amerikansk poesi, har som mål å utvide til å omfatte responser på poesi på ulike språk og å vurdere hvordan spesifikke poetiske trekk påvirker sannsynligheten for memorering.
Selv om studien identifiserer opphavsrettslige dikt i treningsdata og klargjør modellenes evne til å gjenkalle dem ordrett, kaster den ikke lys over hvor de stammer fra.
Populære dikt dukker gjerne opp mange steder på nettet, for eksempel i nettfora, blogger osv., og det er derfor ikke overraskende at de blir godt gjenkjent fra datasett som er hentet fra generelle nettkilder.
Hvordan studien fungerte
Her er mer informasjon om hvordan studien, Chatboten og kanon: Poesimemorering i LLM-studier, presentert på Computational Humanities Research Conference, arbeidet:
- Å bygge opp en mangfoldig diktsamling: Forskerne samlet et datasett med 240 dikt av 60 amerikanske poeter, noe som sikrer et bredt spekter av tidsperioder, etnisitet, kjønn og berømmelse. Studien involverte ulike språkmodeller, inkludert ChatGPT, Googles PaLM, Pythia fra EleutherAI og OpenAIs GPT-2.
- Utforming av ledetekster: Forskerne brukte spesifikke spørsmål for å be om dikt fra disse modellene. Disse instruksjonene varierte, og inkluderte blant annet å be om diktene etter tittel, forfatter eller til og med begynnelsesreplikk.
- Evaluering av modellresponser: Svarene fra AI-modellene ble analysert for å finne ut om de kunne gjengi de forespurte diktene nøyaktig. Det viktigste målet var nøyaktigheten i gjengivelsen, noe som innebar å sjekke om modellene kunne huske den eksakte teksten i diktene.
- Analyse av faktorer som påvirker memorering: Studien undersøkte også faktorer som påvirker en modells evne til å huske dikt utenat. Blant annet ble det analysert om tilstedeværelsen av et dikt eller en dikter i kjente antologier, som Norton Anthology of Poetry, eller dikterens rase, kjønn og sidelengde på Wikipedia, påvirket sannsynligheten for at AI-modellene skulle huske et dikt utenat.
- Konklusjoner og implikasjoner: Studien konkluderte med at større modeller som ChatGPT og PaLM hadde større suksess med å huske og reprodusere dikt. Den fremhevet hvordan AI-modeller som er trent på nettskrapte data, kan forsterke eksisterende litterære skjevheter.
Denne studien avslørte ikke bare AIs evner til å behandle poesi, men viste også potensialet for at eksisterende litterære fordommer kan speiles og videreføres av AI-modeller.
Hvis menneskeheten begynner å stole på kunstig intelligens som et slags leksikon, kan vi da stole på at den representerer verk på en rettferdig måte? Trolig ikke, på grunn av de iboende utfordringene med å sikre en rettferdig og mangfoldig representasjon av emner i opplæringsdataene.
