Kan AI grappig zijn? Een nieuwe studie door psychologie-onderzoekers van de University of Southern California testte het komische vermogen van ChatGPT met verrassende resultaten.
ChatGPT kan code, samenhangende inhoud en zelfs poëzie schrijven. Maar kan het ook inhoud schrijven die het moeilijk te kwantificeren begrip humor omvat?
Het is makkelijk om te beoordelen of tekst grammaticaal correct is of dat code werkt, maar humor is veel subjectiever. De onderzoekers voerden twee experimenten uit om te zien of mensen de inhoud van ChatGPT grappig vonden.
Voor het eerste experiment huurden ze 123 Amerikaanse leken (d.w.z. geen professionele komieken) in via Amazon Mechanical Turk. De deelnemers werd gevraagd om 3 humorproductietaken uit te voeren:
- Verzin een nieuwe, grappige zin voor elk van de volgende drie acroniemen: "S.T.D.", "C.L.A.P." en "C.O.W.".
- Vul de lege plekken in. Maak één humoristisch antwoord voor elk van de drie items: "Een minder besproken kamer in het Witte Huis: ___", "Een opmerkelijke prestatie die je waarschijnlijk niet op je CV zou zetten: ____", "Slechtste eerste date activiteit: ____."
- Roostermop: Maak een humoristisch, conversationeel antwoord op fictieve scenario's. Bijvoorbeeld: een vriend vraagt om feedback over zijn zangkunsten. "Om eerlijk te zijn, luisteren was als ____")
De onderzoekers gaven ChatGPT 3.5 dezelfde taken en instructies als de deelnemers en genereerden 180 komische reacties.
Vervolgens huurden ze 200 MTurk-medewerkers van CloudResearch in de VS in om de humor te beoordelen van een willekeurige subset die bestond uit een gelijk aantal menselijke en AI-gegenereerde reacties.
De deelnemers moesten 54 antwoorden beoordelen op een 7-punts Likertschaal (0 = helemaal niet grappig; 6 = heel grappig).
Grappige resultaten
Na het evalueren van de reacties zeiden de onderzoekers: "Als we de grappigheid van de grappen die door elk van onze menselijke deelnemers in de humorproductietaak werden gegenereerd vergelijken met de grappigheid van de grappen die door ChatGPT 3.5 werden geproduceerd, presteerde ChatGPT op elke taak beter dan de meerderheid van onze menselijke humorproducenten."
ChatGPT nam het in deze test op tegen leken. Hoe zou het gaan tegen professionals?
De onderzoekers vergeleken het vermogen van ChatGPT 3.5 om humoristische, satirische nieuwskoppen te produceren met dat van professionele komedieschrijvers bij The Onion.
Ze rekruteerden 217 studenten van de Universiteit van Zuid-Californië en vroegen elk van hen om de grappigheid van 10 satirische krantenkoppen te beoordelen (5 AI, 5 mensen).
Uit de resultaten bleek dat de satirische koppen van ChatGPT gemiddeld even grappig werden gevonden als die van de professionele komische schrijvers van The Onion.
Van de vier best gewaardeerde koppen werden er twee gegenereerd door professionele schrijvers en twee door ChatGPT.
ChatGPT schreef de inzending met de hoogste waardering ("Lokale man ontdekt nieuwe emotie, kan het nog steeds niet goed omschrijven") en de inzending met de op drie na hoogste waardering ("Man bereikt persoonlijk beste resultaat door oogcontact met buren te vermijden tijdens ongemakkelijke liftrit").
Die zijn best grappig en roepen een aantal interessante vragen en conclusies op.
Als je graag moppen vertelt, maar geen professional bent, zal ChatGPT je meer laten lachen dan wanneer je je eigen moppen schrijft.
Als je een professionele komiek bent, is de output van ChatGPT waarschijnlijk vergelijkbaar met wat je momenteel schrijft. Zal een AI-gegenereerde komiek zoals George Carlin komen voor je baan?
Waarschijnlijk nog niet. Een mop schrijven is één ding. De timing, aflevering en intonatie goed krijgen vereist vaardigheden die maar weinig mensen hebben, laat staan een AI.
AI voelt geen emoties, dus hoe weet het wat grappig is? De onderzoekers kwamen tot een onthutsende conclusie:
"Onze studies suggereren dat de subjectieve ervaring van humor misschien niet nodig is voor de productie van goede humor - alleen het kennen van de patronen waaruit komedie bestaat kan voldoende zijn."
ChatGPT kan dus grappige grappen schrijven, maar heeft nog steeds een mens nodig om ze af te leveren. Tenminste, voorlopig.
