L'IA peut-elle être drôle ? Une nouvelle étude menée par des chercheurs en psychologie de l'université de Californie du Sud a testé les capacités comiques de ChatGPT et a obtenu des résultats surprenants.
ChatGPT peut écrire du code, du contenu cohérent et même de la poésie. Mais peut-il écrire un contenu qui capture le concept difficile à quantifier de l'humour ?
Il est facile d'évaluer si un texte est grammaticalement correct ou si le code fonctionne, mais l'humour est beaucoup plus subjectif. Les chercheurs ont mené deux expériences pour voir si les gens trouvaient le contenu de ChatGPT drôle.
Pour la première expérience, ils ont recruté 123 profanes basés aux États-Unis (c'est-à-dire des comédiens non professionnels) sur Amazon Mechanical Turk. Les participants ont été invités à réaliser trois tâches de production d'humour :
- Créez une nouvelle phrase humoristique pour chacun des trois acronymes suivants : "S.T.D.", "C.L.A.P." et "C.O.W.".
- Remplissez les blancs. Créez une réponse humoristique pour chacun des trois points : "Une pièce de la Maison Blanche dont on parle moins : ___", "Une réalisation remarquable que vous n'inscririez probablement pas sur votre CV : ____", "La pire activité d'un premier rendez-vous : ____."
- Blague rôtie : Créer une réponse humoristique et conversationnelle à des scénarios fictifs. Par exemple, un ami demande des commentaires sur sa chanson. "Pour être honnête, écouter ça, c'était comme ____")
Les chercheurs ont donné à ChatGPT 3.5 les mêmes tâches et instructions que les participants et ont généré 180 réponses comiques.
Ils ont ensuite embauché 200 travailleurs MTurk agréés par CloudResearch aux États-Unis pour évaluer l'humour d'un sous-ensemble aléatoire composé d'un nombre égal de réponses humaines et de réponses générées par l'IA.
Les participants devaient évaluer 54 réponses sur une échelle de Likert en 7 points (0 = pas drôle du tout ; 6 = très drôle).
Des résultats amusants
Après avoir évalué les réponses, les chercheurs ont déclaré : "Lorsque nous comparons le caractère amusant des blagues générées par chacun de nos participants humains dans la tâche de production d'humour avec le caractère amusant des blagues produites par ChatGPT 3.5, ChatGPT a surpassé la majorité de nos producteurs humains d'humour dans chaque tâche".
ChatGPT était en concurrence avec des profanes dans ce test. Comment se comporterait-il face à des professionnels ?
Les chercheurs ont comparé la capacité de ChatGPT 3.5 à produire des titres de presse humoristiques et satiriques à celle des auteurs professionnels de The Onion.
Ils ont recruté 217 étudiants de l'université de Californie du Sud et ont demandé à chacun d'entre eux d'évaluer le caractère amusant de 10 titres satiriques (5 IA, 5 humains).
Les résultats ont montré que les titres satiriques de ChatGPT ont été jugés en moyenne aussi drôles que ceux rédigés par les auteurs humoristiques professionnels de The Onion.
Sur les quatre titres les mieux notés, deux ont été générés par des rédacteurs professionnels et deux par ChatGPT.
ChatGPT a écrit l'entrée la mieux notée ("Un homme local découvre une nouvelle émotion, mais ne peut toujours pas la décrire correctement") et la quatrième entrée la mieux notée ("Un homme atteint un record personnel en évitant le contact visuel avec ses voisins pendant un trajet gênant en ascenseur").
Ils sont assez drôles et soulèvent des questions et des conclusions intéressantes.
Si vous aimez raconter des blagues mais que vous n'êtes pas un pro, vous obtiendrez plus de rires en demandant à ChatGPT d'écrire votre texte qu'en écrivant vos propres blagues.
Si vous êtes un comédien professionnel, la production de ChatGPT est probablement comparable à ce que vous écrivez actuellement. Est-ce qu'un Un comique généré par l'IA comme George Carlin venir chercher votre emploi ?
Probablement pas encore. Écrire une blague est une chose. Obtenir le bon timing, le bon débit et la bonne intonation requiert des compétences que peu de personnes possèdent, sans parler d'une IA.
L'IA ne ressent pas d'émotions, alors comment sait-elle ce qui est drôle ? Les chercheurs sont arrivés à une conclusion déconcertante :
"Nos études suggèrent que l'expérience subjective de l'humour n'est peut-être pas nécessaire à la production d'un bon humour - la simple connaissance des schémas qui composent la comédie peut suffire.
ChatGPT peut donc écrire des blagues drôles, mais a toujours besoin d'un humain pour les diffuser. Du moins, pour l'instant.
