Une étude menée par l'université de Stavanger, en Norvège, révèle que les grands modèles de langage (LLM) de l'IA ont obtenu de meilleurs résultats que les humains dans des tests conçus pour mesurer la pensée créative.
Les chercheurs ont confronté 256 volontaires humains à trois chatbots IA - ChatGPT3, ChatGPT4 et Copy.Ai (basé sur GPT-3) - pour générer des utilisations alternatives d'objets quotidiens tels que des cordes, des boîtes, des crayons et des bougies.
L'étude mesure la pensée divergente à l'aide de l'Alternate Uses Task (AUT), développée par le psychologue J.P. Guilford en 1967.
L'idée est de permettre aux participants d'imaginer le plus grand nombre possible d'utilisations d'objets simples dans un laps de temps donné. Par exemple, un trombone peut servir de crochet de serrure ou d'outil de gravure.
Les IA ont généralement obtenu de meilleurs résultats que les humains dans cette tâche. "Il s'agit en effet d'un type de capacité remarquable dont font preuve les chatbots d'IA", a déclaré Simone Grassini, l'auteur de l'étude. "Les résultats montrent que l'IA est meilleure que la plupart des humains en matière de pensée créative.
Les participants humains et IA ont suivi les mêmes instructions, soulignant l'importance de la qualité créative par rapport à la quantité d'idées.
Les chatbots ont été testés 11 fois en utilisant quatre objets différents. Certains ajustements ont été effectués pour que le nombre d'idées générées par les chatbots soit équivalent à celui des participants humains.
Bien que les chatbots aient obtenu de meilleurs résultats en moyenne dans les tâches de réflexion divergente, l'étude a également montré que les idées les plus innovantes générées par les humains correspondaient à celles des chatbots IA, voire les dépassaient.
"Nos résultats montrent que, du moins pour l'instant, les meilleurs humains restent plus performants que l'IA", a ajouté M. Grassini.
C'est révélateur : les humains peuvent produire une qualité réelle, mais pas aussi rapidement que l'IA, ce à quoi l'on s'attend le plus.
Les étudepubliée dans Nature, souligne que les réponses générées par l'IA ont obtenu de meilleurs résultats que les réponses humaines dans des catégories telles que la distance sémantique et la créativité.
Cependant, les humains l'emportent encore sur les chatbots dans sept des huit catégories de notation concernant les meilleures réponses individuelles.
"Je savais que le chatbot serait performant, mais je pense qu'il l'a été encore plus que je ne l'espérais", a fait remarquer M. Grassini.
Malgré ces résultats prometteurs, les chercheurs ont souligné que la complexité unique de la créativité humaine pourrait être difficile à reproduire ou à surpasser pour l'IA.
Grassini conclut : "Il reste à déterminer si ces capacités de l'IA se traduiront directement sur les systèmes d'IA, remplaçant les emplois humains qui nécessitent une pensée créative. Je préfère penser que l'IA aidera les humains à améliorer leurs capacités".
En savoir plus sur l'étude
L'étude a révélé que l'IA pouvait adopter des approches nouvelles et innovantes pour répondre de manière créative aux questions.
Bien que les meilleures réponses soient toujours d'origine humaine, les humains sont beaucoup plus sujets à des fluctuations de concentration et à d'autres facteurs qui les empêchent d'atteindre l'ampleur des réponses générées par l'IA.
Voici comment cela s'est passé :
- Méthodologie: L'étude s'est appuyée sur l'Alternate Uses Task (AUT), un test établi de longue date pour évaluer la pensée divergente et la créativité. Les participants comprenaient 256 humains et trois chatbots IA avancés. Il leur a été demandé d'imaginer des utilisations inhabituelles et créatives pour des objets du quotidien, et les réponses des humains et des IA ont été évaluées en fonction de leur originalité et de leur utilité.
- Comparaison des performances: En moyenne, les chatbots d'IA ont surpassé les participants humains en termes de créativité moyenne et maximale. Toutefois, les humains les plus performants pouvaient encore égaler ou dépasser les niveaux de créativité des chatbots IA.
- Différences entre l'IA et l'homme: L'étude a révélé que les participants humains étaient souvent moins performants en raison d'une perte d'attention à mi-parcours. À l'inverse, l'IA a exécuté la tâche sans se fatiguer, ce qui a contribué à une meilleure performance globale.
- Forces et faiblesses de l'IA et de la créativité humaine: L'étude postule que l'accès des IA à des ressources informatiques plus importantes explique leur performance moyenne élevée. Elles peuvent en effet calculer un plus grand nombre d'utilisations alternatives plausibles pour les objets, ce qui leur donne une plus grande chance d'identifier les utilisations les plus inhabituelles.
- Limites et orientations futures: L'étude reconnaît des limites, telles que le manque de diversité démographique parmi les participants humains. En outre, elle n'utilise qu'un seul test de créativité d'âge moyen, dont la portée est naturellement limitée.
Les chercheurs créent de nouvelles méthodes pour comparer les approches de l'IA et de l'homme face à des tests, des questions et d'autres tâches.
Une étude récente a montré que le ChatGPT permettait aux élèves d'exceller dans les domaines suivants neuf sujets sur 32 - assez solide, mais c'est probablement une bonne nouvelle pour l'humanité.
Il ne manque qu'une génération d'IA pour que la technologie nous batte complètement.
