La IA está transformando la investigación científica, pero sin la orientación adecuada puede hacer más mal que bien.
Esta es la conclusión de un nuevo papel publicado en Science Advances por un equipo interdisciplinar de 19 investigadores dirigido por los informáticos de la Universidad de Princeton Arvind Narayanan y Sayash Kapoor.
El equipo sostiene que el uso indebido del aprendizaje automático en todas las disciplinas científicas está alimentando una crisis de reproducibilidad que amenaza con socavar los fundamentos mismos de la ciencia.
"Cuando pasamos de los métodos estadísticos tradicionales a los métodos de aprendizaje automático, hay un número mucho mayor de formas de pegarse un tiro en el pie". dijo Narayananque dirige el Centro de Política Informática de Princeton.
"Si no tenemos una intervención para mejorar nuestros estándares científicos y los estándares de información cuando se trata de ciencia basada en el aprendizaje automático, corremos el riesgo de que no solo una disciplina, sino muchas disciplinas científicas diferentes redescubran estas crisis una tras otra."
Según los autores, el problema es que el aprendizaje automático se ha adoptado rápidamente en casi todos los campos científicos, a menudo sin normas claras que garanticen la integridad y reproducibilidad de los resultados.
Destacan que tYa se han publicado miles de artículos que utilizan métodos de aprendizaje automático erróneos.
Pero el equipo dirigido por Princeton afirma que aún se está a tiempo de evitar esta crisis inminente. Han presentado una sencilla lista de buenas prácticas que, si se adoptan de forma generalizada, podrían salvaguardar la fiabilidad del aprendizaje automático en la ciencia.
La lista de comprobación, denominada REFORMS (Recommendations for Machine-learning-based Science), consta de 32 preguntas en ocho áreas clave:
- Objetivos del estudio: Exponga claramente la afirmación científica que se hace y cómo se utilizará el aprendizaje automático para respaldarla. Justifique la elección del aprendizaje automático frente a los métodos estadísticos tradicionales.
- Reproducibilidad computacional: Proporcione el código, los datos, las especificaciones del entorno informático, la documentación y un script de reproducción necesarios para que otras personas puedan reproducir los resultados del estudio de forma independiente.
- Calidad de los datos: Documente las fuentes de datos, el marco de muestreo, las variables de resultado, el tamaño de la muestra y la cantidad de datos que faltan. Justifique que el conjunto de datos es adecuado y representativo de la cuestión científica.
- Preprocesamiento de datos: Indique cómo se limpiaron, transformaron y dividieron los datos en conjuntos de entrenamiento y de prueba. Explique por qué se excluyeron los datos.
- Modelado: Describir y justificar todos los modelos probados, el método utilizado para seleccionar el modelo o modelos finales y el proceso de ajuste de los hiperparámetros. Compare el rendimiento con las líneas de base adecuadas.
- Fuga de datos: Verificar que el proceso de modelado no haya utilizado inadvertidamente información de los datos de prueba y que las características de entrada no filtren el resultado.
"Se trata de un problema sistemático con soluciones sistemáticas", explica Kapoor.
Sin embargo, los costes de equivocarse podría ser inmensa. Una ciencia defectuosa podría hundir investigaciones prometedoras, desanimar a los investigadores y erosionar la confianza pública en la ciencia.
Investigaciones anteriores, como Estudio a gran escala de la naturaleza de académicos sobre IA generativa en la ciencia, indicó que la integración más profunda y progresiva de la IA en los flujos de trabajo científicos es inevitable.
Los participantes destacaron un montón de ventajas: 66% señalaron que la IA permite un procesamiento de datos más rápido, 58% creían que mejora los cálculos y 55% dijeron que ahorra tiempo y dinero.
Sin embargo, 53% consideraron que los resultados podrían no ser reproducibles, 58% se mostraron preocupados por la parcialidad y 55% creyeron que la IA podría permitir investigaciones fraudulentas.
Observamos pruebas de ello cuando los investigadores publicó un artículo con diagramas sin sentido generados por IA en la revista Frontiers: una rata con testículos gigantes, nada menos. Es cómico, pero demuestra que la revisión por pares puede no detectar ni siquiera los usos más obvios de la IA.
En última instancia, como cualquier herramienta, la IA es tan segura y eficaz como el ser humano que la utiliza. Un uso descuidado, aunque no sea intencionado, puede llevar a la ciencia por mal camino.
Las nuevas directrices pretenden mantener "honrada a la gente honrada", en palabras de Narayanan.
La adopción generalizada por parte de investigadores, revisores y revistas podría establecer una nueva norma de integridad científica en la era de la IA.
Sin embargo, llegar a un consenso será difícil, sobre todo porque la crisis de la reproducibilidad ya está pasando desapercibida.
