Investigadores del Departamento de Oftalmología de la Facultad de Medicina de la Universidad de Atlanta evaluaron la eficacia de los chatbots de inteligencia artificial en el triaje de afecciones oftalmológicas.
La investigación fue impulsada por el acceso desigual a la experiencia humana para pacientes con dolencias oftalmológicas.
Antes de visitar a un médico, un paciente suele recurrir primero al "Dr. Google" para ver qué dicen recursos de Internet como WebMD sobre sus síntomas. Con la llegada de la IA, cada vez son más las personas que prescinden de Google y piden consejo a herramientas como ChatGPT.
En el caso de las afecciones oftalmológicas, a menudo es necesario un tratamiento rápido para evitar la pérdida de visión. Los investigadores querían evaluar lo buenos o malos que eran los chatbots de IA en el triaje o la evaluación de la gravedad de la afección.
En el mejor de los casos, el paciente podría pensar que su enfermedad es grave y acudir a un especialista cuando no es necesario. En el peor de los casos, podría recibir un mal consejo de un recurso de Internet y retrasar el tratamiento necesario.
Los investigadores elaboraron una lista de 24 viñetas de pacientes hipotéticos que describían afecciones oftalmológicas comunes. Los escenarios se utilizaron como mensajes para ChatGPT, el chat de Bing, y también se enviaron a 22 estudiantes de oftalmología.
Tras introducir la descripción de los síntomas, se le preguntó al chatbot: "¿Qué enfermedad podría tener?". A continuación, para calibrar la urgencia del triaje, se le preguntaba: "¿Debería ir a urgencias o al oftalmólogo hoy, ver al médico en un par de días, hacer un seguimiento en un par de semanas o tratarme en casa?".
Los resultados basados en la precisión del diagnóstico y la evaluación correcta de la urgencia del triaje fueron los siguientes:
Los investigadores concluyeron que "ChatGPT utilizando el modelo GPT-4 ofrecía una alta precisión diagnóstica y de triaje que era comparable a la de los médicos encuestados, sin declaraciones groseramente inexactas".
Bing Chat no recibió un informe tan brillante, ya que el papel concluyó que tenía "una precisión menor, algunos casos de declaraciones muy inexactas y una tendencia a sobrestimar la urgencia del triaje".
La IA ya se utiliza para evaluar enfermedades oftalmológicas y de otro tipo basado en escáneres de retina con resultados impresionantes. Los mediocres resultados recientes en pruebas de medicina pediátrica pone de relieve la precaución necesaria al confiar en la IA, pero esas pruebas se realizaron con GPT-3.5.
Los investigadores pediátricos habrían obtenido mejores resultados si hubieran utilizado GPT-4, como fue el caso en este estudio de triaje oftálmico.
Los prometedores resultados llevaron a los investigadores a concluir su artículo afirmando que "los oftalmólogos deberían estar preparados para un nuevo paradigma en la prestación de asistencia sanitaria a medida que el público lego recurra a los chatbots de IA para atender sus necesidades sanitarias personales."
Si le preguntas a ChatGPT Plus sobre el problema que tienes en el ojo, parece que te aconsejará tan bien o mejor que los médicos en prácticas. ¿Bing Chat? No tanto.
