Um estudo efectuado pela Universidade de Stavanger, na Noruega, revela que os modelos de linguagem de grande porte (LLM) da IA superaram os humanos em testes concebidos para medir o pensamento criativo.
Os investigadores colocaram 256 voluntários humanos contra três chatbots de IA - ChatGPT3, ChatGPT4 e Copy.Ai (baseado no GPT-3) - para gerar utilizações alternativas para objectos do quotidiano, como cordas, caixas, lápis e velas.
O estudo mede o pensamento divergente através da Tarefa de Usos Alternados (AUT), desenvolvida pelo psicólogo J.P. Guilford em 1967.
A ideia é que os participantes concebam o maior número possível de utilizações para objectos simples num determinado período de tempo. Por exemplo, um clipe de papel pode ser utilizado como picador de fechaduras ou como ferramenta de gravação.
De um modo geral, as IA superaram os humanos nesta tarefa. "De facto, este é um tipo de capacidade notável que os chatbots de IA apresentam", afirmou Simone Grassini, autora do estudo. "Os resultados mostram que a IA é melhor do que a maioria dos humanos no pensamento criativo".
Tanto os participantes humanos como os da IA seguiram as mesmas instruções, sublinhando a importância da qualidade criativa sobre a quantidade de ideias.
Os chatbots foram testados 11 vezes, utilizando quatro pedidos de objectos diferentes. Foram efectuados alguns ajustes para igualar o número de ideias geradas pelos chatbots com as dos participantes humanos.
Embora os chatbots tenham obtido uma pontuação média mais elevada nas tarefas de pensamento divergente, a investigação também observou que as ideias mais inovadoras geradas por humanos correspondiam ou excediam as dos chatbots com IA.
"Os nossos resultados mostram que, pelo menos por enquanto, os melhores humanos continuam a ter um desempenho superior ao da IA", acrescentou Grassini.
Isto é revelador - os seres humanos podem produzir qualidade real, mas não tão rapidamente como a IA, que é o que seria de esperar.
O estudopublicado na Nature, salienta que as respostas geradas pela IA obtiveram uma pontuação mais elevada do que as respostas humanas em categorias como a distância semântica e a criatividade.
No entanto, os humanos continuam a superar os chatbots em sete das oito categorias de pontuação relativas às melhores respostas individuais.
"Eu sabia que o chatbot teria um bom desempenho, mas acho que teve um desempenho ainda melhor do que eu esperava", comentou Grassini.
Apesar dos resultados promissores, os investigadores sublinharam que a complexidade única da criatividade humana pode ser um desafio para a IA replicar ou ultrapassar totalmente.
Grassini concluiu: "Ainda não se sabe se estas capacidades da IA se vão traduzir diretamente nos sistemas de IA, substituindo os empregos humanos que exigem pensamento criativo. Prefiro pensar que a IA estará a ajudar os humanos a melhorar as suas capacidades".
Mais informações sobre o estudo
O estudo revelou que a IA pode adotar abordagens novas e inovadoras para responder a perguntas de forma criativa.
Embora as melhores respostas continuassem a ser de origem humana, os humanos eram muito mais propensos a flutuações de concentração e outros factores que os impediam de alcançar a amplitude das respostas geradas pela IA.
Eis como funcionava:
- Metodologia: O estudo utilizou a Tarefa de Usos Alternados (AUT), um teste de longa data que avalia o pensamento divergente e a criatividade. Os participantes incluíram 256 humanos e três chatbots de IA avançada. Foi-lhes pedido que pensassem em utilizações invulgares e criativas para objectos do quotidiano, e tanto as respostas humanas como as da IA foram avaliadas com base na sua originalidade e utilidade.
- Comparação de desempenho: Em média, os chatbots com IA superaram os participantes humanos tanto na pontuação média como na pontuação máxima de criatividade. No entanto, os seres humanos com melhor desempenho ainda podem igualar ou exceder os níveis de criatividade dos chatbots com IA.
- Diferenças entre a IA e os seres humanos: O estudo revelou que os participantes humanos tinham frequentemente um desempenho inferior devido à perda de atenção a meio da tarefa. Pelo contrário, a IA executou a tarefa sem se cansar, contribuindo para um desempenho global mais elevado.
- Pontos fortes e fracos da IA e da criatividade humana: O estudo considera que o acesso da IA a maiores recursos computacionais explica o seu elevado desempenho médio. Podem, essencialmente, calcular utilizações alternativas mais plausíveis para os objectos, o que lhes dá uma maior probabilidade de escolherem as utilizações mais invulgares.
- Limitações e direcções futuras: O estudo reconhece as suas limitações, como a falta de diversidade demográfica entre os participantes humanos. Além disso, utiliza apenas um teste de criatividade de idade moderada, cujo âmbito é naturalmente limitado.
Os investigadores estão a criar novos métodos para comparar as abordagens da IA e dos seres humanos a testes, perguntas e outras tarefas.
Um estudo recente concluiu que o ChatGPT superou os alunos em nove em 32 temas - bastante sólido, mas provavelmente uma boa notícia para a humanidade.
Ainda estamos a uma geração de IA de distância de a tecnologia nos vencer de forma abrangente.
