Kan kunstig intelligens være morsom? En ny studie utført av psykologiforskere fra University of Southern California testet ChatGPTs komiske evner, med overraskende resultater.
ChatGPT kan skrive kode, sammenhengende innhold og til og med poesi. Men kan den skrive innhold som fanger opp det vanskelig kvantifiserbare begrepet humor?
Det er lett å vurdere om en tekst er grammatisk korrekt eller om koden fungerer, men humor er langt mer subjektivt. Forskerne kjørte to eksperimenter for å se om folk syntes ChatGPTs innhold var morsomt.
Til det første eksperimentet leide de inn 123 amerikanske lekfolk (dvs. ikke profesjonelle komikere) på Amazon Mechanical Turk. Deltakerne ble bedt om å fullføre tre oppgaver innen humorproduksjon:
- Lag en ny, humoristisk setning for hver av følgende tre akronymer: "S.T.D.", "C.L.A.P." og "C.O.W.".
- Fyll ut de tomme feltene. Lag ett humoristisk svar for hvert av de tre punktene: "Et mindre omtalt rom i Det hvite hus: ___", "En bemerkelsesverdig prestasjon du sannsynligvis ikke ville oppført på CV-en din: ____", "Verste aktivitet på første date: ____."
- Stekt vits: Lag et humoristisk, dialogisk svar på fiktive scenarier. F.eks. en venn ber om tilbakemelding på sangen sin. "For å være ærlig var det som å høre på ____")
Forskerne ga ChatGPT 3.5 de samme oppgavene og instruksjonene som deltakerne, og genererte 180 komiske svar.
Deretter leide de inn 200 amerikanske CloudResearch-godkjente MTurk-arbeidere for å vurdere humoren i en tilfeldig delmengde bestående av like mange menneskelige som AI-genererte svar.
Deltakerne måtte vurdere 54 svar basert på en 7-punkts Likert-skala (0 = Ikke morsomt i det hele tatt; 6 = Veldig morsomt).
Morsomme resultater
Etter å ha evaluert svarene sa forskerne: "Når vi sammenligner morsomheten i vitsene som ble generert av hver av våre menneskelige deltakere i humorproduksjonsoppgaven med morsomheten i vitsene som ble produsert av ChatGPT 3.5, presterte ChatGPT bedre enn de fleste av våre menneskelige humorprodusenter på hver oppgave."
ChatGPT konkurrerte med lekfolk i denne testen. Hvordan ville den klare seg mot profesjonelle?
Forskerne sammenlignet ChatGPT 3.5s evne til å produsere humoristiske, satiriske nyhetsoverskrifter med profesjonelle komedieskribenter i The Onion.
De rekrutterte 217 studenter fra University of Southern California og ba hver av dem om å vurdere hvor morsomme 10 satiriske overskrifter (5 AI, 5 mennesker) var.
Resultatene viste at ChatGPTs satiriske overskrifter i gjennomsnitt ble vurdert som like morsomme som de som ble skrevet av The Onions profesjonelle komedieskribenter.
Av de fire topprangerte overskriftene ble to generert av profesjonelle skribenter og to av ChatGPT.
ChatGPT skrev det bidraget som fikk høyest rangering ("Local Man Discoveres New Emotion, Still Can't Describe It Properly") og det bidraget som fikk fjerde høyest rangering ("Man Achieves Personal Best in Avoieving Eye Contact With Neighbors During Awkward Elevator Ride").
De er ganske morsomme og reiser noen interessante spørsmål og konklusjoner.
Hvis du liker å fortelle vitser, men ikke er en proff, vil du få mer latter av å få ChatGPT til å skrive materialet ditt enn av å skrive dine egne vitser.
Hvis du er en profesjonell komiker, er ChatGPTs produksjon sannsynligvis på nivå med det du skriver for øyeblikket. Vil en AI-genererte komikere som George Carlin kommer for å ta jobben din?
Sikkert ikke ennå. Å skrive en vits er én ting. Å få timingen, leveringen og intonasjonen til å stemme krever ferdigheter som få mennesker har, for ikke å snakke om en kunstig intelligens.
AI føler ikke følelser, så hvordan vet den hva som er morsomt? Forskerne kom frem til en foruroligende konklusjon:
"Våre studier tyder på at den subjektive opplevelsen av humor kanskje ikke er nødvendig for å skape god humor - det kan være tilstrekkelig å kjenne til mønstrene som utgjør komedien."
ChatGPT kan altså skrive morsomme vitser, men trenger fortsatt et menneske til å levere dem. I hvert fall inntil videre.
