De nouvelles recherches suggèrent que le ChatGPT peut surpasser les élèves dans certaines matières, en trompant les enseignants et en échappant aux détecteurs d'intelligence artificielle.
Une étude dirigée par Yasir Zaki de l'Université de New York à Abu Dhabi a montré que la réponse de ChatGPT égalait ou dépassait la qualité des réponses des étudiants dans neuf des 32 sujets.
Notamment, le chatbot a obtenu un score presque deux fois supérieur à celui de l'étudiant moyen dans un cours intitulé "Introduction aux politiques publiques".
Toutefois, l'armure de l'IA présente des failles, le ChatGPT éprouvant des difficultés dans les tâches nécessitant une "analyse critique". N'oublions pas non plus que les étudiants humains ont généralement dominé les débats.
Malgré cela, l'écart entre le travail généré par l'IA et le travail humain se réduit, ce qui pourrait avoir des conséquences dramatiques pour le secteur de l'éducation et les systèmes de connaissance humaine dans leur ensemble.
Il est intéressant de noter que ChatGPT a été assez faible dans les tâches nécessitant des compétences ou des connaissances en programmation et en informatique, mais qu'il a excellé dans les domaines de la recherche sociale, de la politique et de l'ingénierie.
Les 32 sujets couvraient des domaines tels que l'informatique, les mathématiques, la sociologie, la psychologie, les sciences politiques et les affaires. En outre, l'étude a interrogé des étudiants et des enseignants de cinq pays (Brésil, Inde, Japon, Royaume-Uni et États-Unis) afin de connaître leur point de vue sur l'utilisation de la technologie dans l'enseignement.
"Ces correcteurs n'ont pas été informés des sources de ces réponses, ni de l'objectif de la notation", précise M. Zaki.
"ChatGPT a obtenu de bien meilleurs résultats dans les questions qui nécessitaient un rappel d'informations, mais n'a pas obtenu de bons résultats dans les questions qui nécessitaient une analyse critique", explique M. Zaki.
En outre, les chercheurs ont constaté que les services de détection de l'IA ne parviennent pas à faire la distinction entre les réponses humaines et celles générées par l'IA, avec un taux de réussite de 95%.
L'enquête explorant les sentiments des étudiants et des enseignants à l'égard de l'IA dans l'éducation a révélé une polarisation sur la question de savoir si l'utilisation de l'IA constitue ou non un plagiat.
Thomas Lancaster, de l'Imperial College London, s'est exprimé sur les implications de l'étude. Selon lui, les résultats révèlent des failles dans l'approche actuelle des évaluations universitaires. "Si de [meilleures réponses sont] possibles [avec ChatGPT], cela suggère qu'il y a des défauts dans la conception de l'évaluation.
Principales conclusions
Cette étude à multiples facettes a examiné les performances de ChatGPT et a recueilli des informations supplémentaires sur les opinions qualitatives concernant la technologie.
Voici les principaux résultats :
- Résultats scolaires: Les performances du ChatGPT étaient comparables ou supérieures à celles des étudiants universitaires dans 9 des 32 cours répartis dans huit disciplines.
- Les algorithmes de détection font défaut: Les algorithmes actuels, y compris GPTZero, conçus pour détecter le texte généré par ChatGPT, sont largement inefficaces. Non seulement ces algorithmes classent mal les réponses humaines comme étant générées par l'IA, mais ils ne parviennent pas non plus à identifier correctement le contenu généré par le ChatGPT en tant que tel.
- Points de vue des élèves et des enseignants: Les étudiants et les éducateurs ne semblent pas s'entendre sur les implications éthiques de l'utilisation de ChatGPT. Les étudiants ont majoritairement l'intention d'utiliser l'outil pour leurs travaux scolaires, tandis que les éducateurs ont tendance à considérer son utilisation comme du plagiat.
- Perspectives mondiales: Les étudiants et les éducateurs interrogés dans cinq pays (Brésil, Inde, Japon, Royaume-Uni et États-Unis) ont exprimé des opinions divergentes sur l'utilisation éthique de ChatGPT. Par exemple, alors que les étudiants indiens considèrent que son utilisation pour les devoirs n'est pas éthique, les étudiants brésiliens la jugent éthique. Cependant, 94% des étudiants des deux pays ont l'intention d'utiliser ChatGPT à des fins académiques.
Le rôle de l'IA dans l'éducation s'est transformé en un débat tourbillonnant, les étudiants étant peut-être les mieux placés pour tirer parti de la technologie tandis que les éducateurs actualisent leurs connaissances.
Cela a donné lieu à des situations embarrassantes, comme lorsqu'un professeur de Texas A&M a refusé de marquer ses devoirs de classe, car il pensait qu'ils étaient générés par l'IA.
Une chose est sûre : L'IA sera de plus en plus ancrée dans l'éducation, que ce soit de manière positive ou négative.
