ChatGPT ha demostrado sus aptitudes para los exámenes, con una puntuación similar a la de los estudiantes de varias carreras y otras pruebas, como el examen de acceso a la abogacía. Pero, ¿puede ofrecer resultados satisfactorios en los exámenes de medicina?
Un grupo de médicos pediatras puso a prueba ChatGPT, concretamente el modelo GPT-3.5.
Se examinaron de ChatGPT en el examen de neonatología-perinatología, que es fundamental para los estudiantes de pediatría. El estudio, publicado en JAMA, reveló que la versión 3.5 de ChatGPT sólo obtuvo 46% respuestas correctas.
ChatGPT obtuvo los mejores resultados en las preguntas de memoria básica y de razonamiento clínico, pero sus limitaciones quedaron al descubierto en las preguntas que requerían razonamiento multilógico.
En concreto, el modelo obtuvo su puntuación más baja, un 37,5 por ciento, en el apartado de gastroenterología y la más alta, un 78,5 por ciento, en ética -quizá irónicamente-.
El autor principal del estudio, Andrew Beam, es profesor adjunto de informática biomédica en la Facultad de Medicina de Harvard.
Señaló que los rápidos avances de la IA han sido nada menos que notables. "El año pasado hubo un momento en el que, de repente, cinco o seis modelos diferentes obtuvieron puntuaciones del 80% o más", dijo, subrayando el rápido ritmo al que evoluciona este campo.
La esposa de Beam, Kristyn, instructora de pediatría en la Facultad de Medicina de Harvard, también participó en el estudio. "Quería que no saliera bien, así que desde esa perspectiva estaba contenta", confesó.
Sin embargo, reconoce que es inevitable que la IA se integre en la asistencia sanitaria, como ya hemos visto con Resonancia magnética con inteligencia artificial, diagnóstico de enfermedades ocularesy desarrollo de fármacospor nombrar sólo algunas de sus aplicaciones.
"Es realmente importante averiguar cómo llevarlo al mundo clínico y hacerlo de forma segura".
El equipo tiene previsto realizar pruebas con el GPT-4 superior y aplicarlas a los mismos exámenes de neonatología-perinatología y anestesiología.
Andrew Beam también señaló la importancia de saber qué versión de un gran modelo lingüístico se está utilizando, señalando que el más reciente GPT-4 está disponible mediante suscripción, mientras que el más antiguo ChatGPT 3.5 sigue siendo de libre acceso.
"Es probable que la mayoría de los usuarios se sientan atraídos por la herramienta gratuita y deban tener en cuenta sus limitaciones", afirma. A nivel mundial, $20/mes dista mucho de ser insignificante.
ChatGPT ha sido en varios exámenesEntre ellos, un estudio reciente que lo comparó con 32 temas de licenciatura y concluyó que sólo superaba o superaba a los estudiantes en 9 de cada 32 exámenes.
La IA también se ha puesto a prueba en el examen de acceso a la abogacía, en los Graduate Record Examinations (GRE), en el SAT Reading and Writing, en los exámenes de Advanced Placement y en el muchos otrosa menudo con una puntuación muy alta.
