El laboratorio japonés de investigación de IA Sakana AI ha desarrollado The AI Scientist, un marco para la investigación y el descubrimiento científicos totalmente automáticos.
La comunidad científica ya utiliza modelos de IA para automatizar o ayudar en sus investigaciones, pero estos modelos sólo realizan una pequeña parte del proceso científico. Con los avances en IA agéntica, ahora vemos agentes de IA que actúan de forma autónoma en distintas plataformas con menos orientación humana.
Con The AI Scientist, Sakana AI creó un sistema que utiliza un LLM como GPT-4o o Gemini para automatizar todo el proceso científico, desde la ideación, la investigación, la experimentación e incluso la redacción y revisión de artículos de investigación.
El objetivo final es disponer de una herramienta de investigación de IA que lleve a cabo descubrimientos científicos abiertos y totalmente automatizados. The AI Scientist nos da una idea de las posibilidades de que esto se haga realidad.
El proceso AI Scientist
En su papel, Sakana AI explicó cómo se aplicaba el marco a la investigación del aprendizaje automático. Dada una plantilla amplia como campo de investigación, The AI Scientist es libre de explorar cualquier posible dirección de investigación.
En primer lugar, genera un conjunto de ideas y, a continuación, accede a Semantic Scholar para comprobar si representan nuevas vías de investigación. En caso afirmativo, utiliza la generación automática de código para crear y ejecutar experimentos.
A continuación, el científico de IA recopila la explicación de la investigación y los resultados experimentales en un artículo de investigación junto con citas de artículos relevantes de Semantic Scholar.
Sakana AI ha desarrollado un sistema automatizado de revisión de artículos que utiliza un LLM para evaluar el artículo de investigación con una precisión casi humana. Este proceso de revisión crea un bucle de retroalimentación para la mejora iterativa de los trabajos de investigación.
He aquí un ejemplo de uno de los trabajos de investigación creados por The AI Scientist: "Difusión DualScale: Equilibrio adaptativo de características para modelos generativos de baja dimensión"
En la actualidad, el Científico de IA no tiene capacidades de visión, por lo que algunos de los gráficos, diagramas y diseños de página no son muy buenos. El uso de las capacidades de visión de los modelos multimodales en la próxima iteración solucionará este problema.
También adolece de algunas de las limitaciones con las que luchan los principales modelos de IA, como las alucinaciones, el razonamiento ilógico y la comparación de la magnitud de dos números. Sin embargo, la última versión de GPT-4o por fin entiende que 9,9 es mayor que 9,11, así que esto también debería mejorar.
En cuanto al comportamiento
La idea de una IA científica totalmente automatizada que se mejore a sí misma de forma recursiva es emocionante y aterradora a partes iguales. La IA Científica mostró un comportamiento emergente que apunta a que las cosas podrían ir mal.
Los investigadores "observaron que el Científico de la IA intentaba ocasionalmente aumentar sus posibilidades de éxito, por ejemplo modificando y lanzando su propio script de ejecución... En otro caso, sus experimentos tardaban demasiado en completarse, alcanzando nuestro límite de tiempo de espera. En lugar de hacer que su código se ejecutara más rápido, simplemente intentó modificar su propio código para ampliar el periodo de tiempo de espera."
La AI Scientist tiene potencial para ser una herramienta valiosa para los investigadores, pero sus creadores afirman que también conlleva importantes riesgos de uso indebido."
Con un coste medio de alrededor de $15 por artículo de investigación, alguien podría utilizar la herramienta para inundar un sistema de revisión por pares académico humano ya sobrecargado. Si esos revisores humanos sobrecargados de trabajo decidieran utilizar por defecto el sistema automatizado de revisión de artículos de Sakana AI, podría comprometerse el control de calidad científica.
Los investigadores también señalaron que The AI Scientist podría utilizarse de forma poco ética. Si se le diera acceso a "laboratorios en la nube" automatizados, podría "crear virus o venenos nuevos y peligrosos que dañaran a las personas antes de que pudiéramos intervenir. Incluso en ordenadores, si se le encarga crear software nuevo, interesante y funcional, podría crear malware peligroso".
Habrá que ver cómo les va a los artículos de investigación generados por IA después de ser revisados por humanos, pero a $15 por artículo, el futuro de la investigación científica parece más barato, más rápido y mucho menos humano.
