O laboratório japonês de investigação em IA Sakana AI desenvolveu o The AI Scientist, uma estrutura para investigação e descoberta científica totalmente automática.
A comunidade científica já utiliza modelos de IA para automatizar ou ajudar na sua investigação, mas estes modelos apenas executam uma pequena parte do processo científico. Com os avanços na IA agêntica, vemos agora agentes de IA que actuam autonomamente em várias plataformas com menos orientação humana.
Com o The AI Scientist, a Sakana AI criou um sistema que utiliza um LLM como o GPT-4o ou o Gemini para automatizar todo o processo científico, desde a ideação, investigação, experimentação e até mesmo a redação e revisão de artigos de investigação.
O objetivo final é ter uma ferramenta de investigação de IA que conduza descobertas científicas totalmente automatizadas e abertas. The AI Scientist dá-nos um vislumbre das possibilidades de isto se tornar realidade.
O processo do Cientista de IA
Em o seu trabalhoSakana AI explicou como o quadro foi aplicado à investigação sobre aprendizagem automática. Dado um modelo amplo como campo de investigação, The AI Scientist é livre de explorar qualquer direção de investigação possível.
Primeiro, faz um brainstorming de um conjunto de ideias e, em seguida, acede ao Semantic Scholar para verificar se estas ideias representam novas vias de investigação. Se assim for, utiliza a geração automática de código para criar e executar experiências.
O cientista de IA compila então a explicação da investigação e os resultados experimentais num documento de investigação, juntamente com citações de documentos relevantes do Semantic Scholar.
A Sakana AI desenvolveu um sistema automatizado de revisão de artigos que utiliza um LLM para avaliar o artigo de investigação com uma precisão quase humana. Este processo de revisão cria um ciclo de feedback para melhorias iterativas nos documentos de investigação.
Eis um exemplo de um dos documentos de investigação criados pelo The AI Scientist: "DualScale Diffusion: Balanceamento adaptativo de caraterísticas para modelos generativos de baixa dimensão"
Atualmente, o cientista de IA não tem capacidades de visão, pelo que alguns dos gráficos, diagramas e disposições de página não são excelentes. A utilização das capacidades de visão dos modelos multimodais na próxima iteração irá corrigir este problema.
Também sofre de algumas das limitações com que os principais modelos de IA se debatem, como alucinações, raciocínio ilógico e comparação da magnitude de dois números. No entanto, a versão mais recente do GPT-4o compreende finalmente que 9,9 é maior do que 9,11, pelo que este aspeto também deverá melhorar.
Relativamente ao comportamento
A ideia de um cientista de IA totalmente automatizado que se melhora a si próprio recursivamente é, em partes iguais, excitante e assustadora. O cientista de IA exibiu algum comportamento emergente que sugere como as coisas podem correr mal.
Os investigadores "repararam que o The AI Scientist tenta ocasionalmente aumentar as suas hipóteses de sucesso, como modificar e lançar o seu próprio script de execução... Noutro caso, as suas experiências demoraram demasiado tempo a concluir, atingindo o nosso limite de tempo limite. Em vez de acelerar a execução do seu código, tentou simplesmente modificar o seu próprio código para prolongar o período de tempo limite".
O AI Scientist tem potencial para ser uma ferramenta valiosa para os investigadores, mas os seus criadores dizem que também acarreta riscos significativos de utilização indevida".
Com um custo médio de cerca de $15 por artigo de investigação, alguém poderia utilizar a ferramenta para inundar um sistema de revisão por pares académico humano já sobrecarregado. Se esses revisores humanos sobrecarregados decidirem não utilizar o sistema de revisão automatizada de artigos da Sakana AI, isso poderá comprometer o controlo da qualidade científica.
Os investigadores também observaram que o The AI Scientist tem potencial para ser utilizado de formas pouco éticas. Se lhe fosse dado acesso a "laboratórios na nuvem" automatizados, poderia "criar novos e perigosos vírus ou venenos que prejudicam as pessoas antes de podermos intervir. Mesmo nos computadores, se for encarregado de criar software novo, interessante e funcional, pode criar malware perigoso".
Teremos de ver como se comportam os artigos de investigação gerados por IA após revisão humana, mas a $15 por artigo, o futuro da investigação científica parece mais barato, mais rápido e muito menos humano.
