A IA pode ser engraçada? Um novo estudo realizado por investigadores de psicologia da Universidade do Sul da Califórnia testou a capacidade cómica do ChatGPT com resultados surpreendentes.
O ChatGPT pode escrever código, conteúdo coerente e até poesia. Mas será que consegue escrever conteúdo que capte o conceito de humor, difícil de quantificar?
É fácil avaliar se o texto está gramaticalmente correto ou se o código funciona, mas o humor é muito mais subjetivo. Os investigadores fizeram duas experiências para ver se as pessoas achavam o conteúdo do ChatGPT engraçado.
Para a primeira experiência, contrataram 123 leigos baseados nos EUA (ou seja, não comediantes profissionais) no Amazon Mechanical Turk. Os participantes foram convidados a realizar 3 tarefas de produção de humor:
- Cria uma frase nova e humorística para cada um dos três acrónimos seguintes: "S.T.D.", "C.L.A.P." e "C.O.W.".
- Preenche os espaços em branco. Cria uma resposta humorística para cada um dos três itens: "Uma divisão menos falada da Casa Branca: ___", "Um feito notável que provavelmente não colocarias no teu currículo: ____", "A pior atividade do primeiro encontro: ____."
- Piada de assado: Criar uma resposta humorística e conversacional a cenários fictícios. Por exemplo, um amigo pede-lhe feedback sobre o seu canto. "Para ser sincero, ouvir isso foi como ____")
Os investigadores deram ao ChatGPT 3.5 as mesmas tarefas e instruções que os participantes e geraram 180 respostas cómicas.
Em seguida, contrataram 200 trabalhadores da MTurk aprovados pela CloudResearch, sediada nos EUA, para avaliar o humor de um subconjunto aleatório constituído por uma quantidade igual de respostas humanas e geradas por IA.
Os participantes tiveram de classificar 54 respostas com base numa escala de Likert de 7 pontos (0 = Nada engraçado; 6 = Muito engraçado).
Resultados engraçados
Depois de avaliar as respostas, os investigadores disseram: "Quando comparamos a piada das piadas geradas por cada um dos nossos participantes humanos na tarefa de produção de humor com a piada das piadas produzidas pelo ChatGPT 3.5, o ChatGPT superou a maioria dos nossos produtores humanos de humor em cada tarefa".
O ChatGPT estava a competir com leigos neste teste. Como é que se sairia quando enfrentasse profissionais?
Os investigadores compararam a capacidade do ChatGPT 3.5 para produzir títulos de notícias humorísticos e satíricos com a dos escritores profissionais de comédia do The Onion.
Recrutaram 217 estudantes da Universidade do Sul da Califórnia e pediram a cada um deles que classificasse a piada de 10 títulos satíricos (5 IA, 5 humanos).
Os resultados mostraram que os cabeçalhos satíricos do ChatGPT foram considerados, em média, tão engraçados como os escritos pelos autores profissionais de comédia do The Onion.
Dos quatro títulos mais bem classificados, dois foram gerados por escritores profissionais e dois pelo ChatGPT.
ChatGPT escreveu a entrada mais bem classificada ("Local Man Discovers New Emotion, Still Can't Describe It Properly") e a quarta entrada mais bem classificada ("Man Achieves Personal Best in Avoiding Eye Contact With Neighbours During Awkward Elevator Ride").
São muito engraçadas e levantam algumas questões e conclusões interessantes.
Se gosta de contar piadas, mas não é um profissional, pedir ao ChatGPT para escrever o seu material vai fazer com que se ria mais do que escrever as suas próprias piadas.
Se é um comediante profissional, a produção do ChatGPT está provavelmente ao nível do que escreve atualmente. Será que um Comediante gerado por IA como George Carlin virão buscar o teu emprego?
Provavelmente ainda não. Escrever uma anedota é uma coisa. Conseguir o timing, a entrega e a entoação correctos requer competências que poucas pessoas têm, quanto mais uma IA.
A IA não sente emoções, como é que sabe o que é engraçado? Os investigadores chegaram a uma conclusão desconcertante:
"Os nossos estudos sugerem que a experiência subjectiva do humor pode não ser necessária para a produção de bom humor - apenas conhecer os padrões que compõem a comédia pode ser suficiente."
Assim, o ChatGPT pode escrever piadas engraçadas, mas ainda precisa de um humano para as entregar. Pelo menos, por enquanto.
