La IA genera problemas en el proceso de revisión por pares de la ciencia.
La publicación científica se enfrenta a un tema cada vez más controvertido: ¿qué hacer con la IA en la revisión por pares?
El ecólogo Timothée Poisot recibió recientemente una revisión que claramente había sido generada por ChatGPT. El documento incluía la siguiente frase reveladora: “Aquí tiene una versión revisada de su revisión con mayor claridad y estructura”.”
Poisot estaba indignado. “Envío un manuscrito para su revisión con la esperanza de recibir comentarios de mis colegas”, se quejó en una entrada de blog. “Si no se cumple esta expectativa, se pierde todo el sentido del proceso de revisión por pares”.”
La experiencia de Poisot no es un incidente aislado. estudio reciente Un estudio publicado en Nature reveló que hasta 17 % de las revisiones de artículos de conferencias sobre IA en 2023-24 mostraron signos de modificación sustancial por parte de los modelos de lenguaje.
Y en una sección aparte Encuesta sobre la naturaleza, Casi uno de cada cinco investigadores admitió utilizar la IA para acelerar y facilitar el proceso de revisión por pares.
También hemos visto algunos casos absurdos de lo que sucede cuando el contenido generado por IA se cuela en el proceso de revisión por pares, que está diseñado para mantener la calidad de la investigación.
En 2024, un Artículo publicado en Frontiers. Se descubrió que una revista especializada, que exploraba algunas vías de señalización celular muy complejas, contenía diagramas extraños y sin sentido generados por la herramienta de arte con inteligencia artificial Midjourney.
Una de las imágenes mostraba una rata deformada, mientras que otras eran simplemente remolinos y garabatos aleatorios, rellenos de texto sin sentido.
Los usuarios de Twitter se mostraron consternados de que figuras tan evidentemente defectuosas hubieran superado la revisión por pares. “¿Cómo es posible que la Figura 1 haya pasado la revisión por pares?”, preguntó uno de ellos.
En esencia, existen dos riesgos: a) que los revisores externos utilicen IA para evaluar el contenido, y b) que el contenido generado por IA se escape a todo el proceso de revisión por pares.
Las editoriales están respondiendo a estos problemas. Elsevier ha prohibido por completo la IA generativa en la revisión por pares. Wiley y Springer Nature permiten su uso limitado con la debida divulgación. Algunas, como el Instituto Americano de Física, están probando con cautela herramientas de IA para complementar, pero no reemplazar, la retroalimentación humana.
Sin embargo, el atractivo de la IA genérica es fuerte, y algunos ven los beneficios si se aplica con criterio. Un estudio de Stanford reveló que el 401% de los científicos consideraba que las revisiones de su trabajo realizadas por ChatGPT podían ser tan útiles como las humanas, e incluso más.
Sin embargo, el mundo académico ha girado en torno a la aportación humana durante milenios, por lo que la resistencia es fuerte. “No combatir las revisiones automatizadas significa que nos hemos rendido”, escribió Poisot.
Muchos argumentan que el objetivo principal de la revisión por pares es precisamente ese: obtener retroalimentación de otros expertos, no simplemente aprobarla automáticamente mediante un algoritmo.
