Una nueva investigación sugiere que ChatGPT puede superar a los estudiantes en materias específicas, engañando a los profesores en el proceso y evadiendo los detectores de IA.
Un estudio dirigido por Yasir Zaki, de la Universidad de Nueva York de Abu Dhabi, descubrió que la respuesta de ChatGPT igualaba o superaba la calidad de las respuestas de los alumnos en nueve de las 32 asignaturas.
En concreto, el chatbot obtuvo casi el doble de puntos que el estudiante medio en un curso llamado Introducción a la Política Pública.
Sin embargo, la inteligencia artificial no estuvo a la altura, ya que ChatGPT tuvo problemas con las tareas que requerían "análisis crítico". Y no hay que olvidar que, en general, los estudiantes humanos dominaron los procedimientos.
Aun así, la brecha entre el trabajo generado por la IA y el humano se está estrechando, lo que tiene consecuencias potencialmente dramáticas para el sector educativo y los sistemas de conocimiento humano en su conjunto.
Curiosamente, ChatGPT fue bastante pobre en tareas que requerían habilidades o conocimientos de programación e informática, pero destacó en investigación social, política e ingeniería.
Las 32 asignaturas abarcaban materias como informática, matemáticas, sociología, psicología, ciencias políticas y empresariales. Además, el estudio encuestó a estudiantes y educadores de cinco países -Brasil, Estados Unidos, India, Japón y Reino Unido- para conocer sus puntos de vista sobre el uso de la tecnología en la enseñanza.
"Estos calificadores no conocían las fuentes de las respuestas ni el propósito de la calificación", afirma Zaki.
"ChatGPT funcionó mucho mejor en las preguntas que requerían recordar información, pero funcionó mal en las preguntas que requerían un análisis crítico", dice Zaki.
Además, los investigadores descubrieron que los servicios de detección de IA distinguen mal entre las respuestas humanas y las generadas por IA, con tasas de acierto de 95%.
La encuesta realizada para conocer la opinión de estudiantes y profesores sobre la IA en la educación puso de manifiesto la polarización sobre si el uso de la IA constituye plagio o no.
Thomas Lancaster, del Imperial College de Londres, opinó sobre las implicaciones del estudio. Según él, los resultados ponen de manifiesto fallos en el planteamiento actual de las evaluaciones universitarias. "Si [son] posibles mejores respuestas [con ChatGPT], sugiere que hay fallos en el diseño de la evaluación".
Principales resultados
Este estudio multifacético investigó el rendimiento de ChatGPT y recogió información adicional sobre opiniones cualitativas sobre la tecnología.
He aquí las principales conclusiones:
- Rendimiento académico: El rendimiento de ChatGPT fue comparable o superior al de los estudiantes universitarios en 9 de los 32 cursos de ocho disciplinas.
- Faltan algoritmos de detección: Los algoritmos actuales, incluido GPTZero, diseñados para detectar texto generado por ChatGPT, son en gran medida ineficaces. Estos algoritmos no solo clasifican erróneamente las respuestas humanas como generadas por IA, sino que tampoco identifican correctamente como tal el contenido generado por ChatGPT.
- Opiniones de alumnos y profesores: Existe una aparente desconexión entre estudiantes y educadores sobre las implicaciones éticas del uso de ChatGPT. Los estudiantes, en su inmensa mayoría, pretenden utilizar la herramienta para trabajos escolares, mientras que los educadores se inclinan por tratar su uso como plagio.
- Perspectivas mundiales: Los estudiantes y educadores encuestados de cinco países (Brasil, India, Japón, Reino Unido y Estados Unidos) mostraron opiniones diversas sobre el uso ético de ChatGPT. Por ejemplo, mientras que los estudiantes de la India consideran que no es ético utilizarlo para hacer los deberes, los de Brasil lo consideran ético. Sin embargo, 94% de los estudiantes de ambos países tienen intención de utilizar ChatGPT con fines académicos.
El papel de la IA en la educación se ha convertido en un arremolinado debate, en el que los estudiantes quizá sean los más indicados para aprovechar la tecnología mientras los educadores actualizan sus conocimientos.
Esto ha provocado algunas situaciones embarazosas, como cuando un profesor de Texas A&M se negó a marcar sus trabajos de clase, ya que creía que eran generados por IA.
Una cosa es segura: La IA se integrará cada vez más en la educación, con fines positivos o negativos.
