Le laboratoire de recherche japonais Sakana AI a mis au point The AI Scientist, un cadre pour la recherche et la découverte scientifiques entièrement automatiques.
La communauté scientifique utilise déjà des modèles d'IA pour automatiser ou assister ses recherches, mais ces modèles ne représentent qu'une petite partie du processus scientifique. Grâce aux progrès de l'IA agentique, nous voyons aujourd'hui des agents d'IA qui agissent de manière autonome sur différentes plateformes, avec moins de conseils humains.
Avec The AI Scientist, Sakana AI a créé un système qui utilise un LLM comme GPT-4o ou Gemini pour automatiser l'ensemble du processus scientifique, de l'idéation à la recherche, en passant par l'expérimentation et même la rédaction et l'examen des documents de recherche.
L'objectif ultime est de disposer d'un outil de recherche en IA qui permette d'effectuer des découvertes scientifiques entièrement automatisées et ouvertes. The AI Scientist nous donne un aperçu des possibilités que cela devienne une réalité.
Le processus du scientifique de l'IA
En leur documentSakana AI a expliqué comment le cadre a été appliqué à la recherche sur l'apprentissage automatique. Le domaine de recherche étant largement défini, The AI Scientist est libre d'explorer toutes les directions de recherche possibles.
Il commence par lancer un ensemble d'idées, puis accède à Semantic Scholar pour vérifier si ces idées représentent de nouvelles pistes de recherche. Si c'est le cas, il utilise la génération automatique de code pour créer et exécuter des expériences.
Le scientifique de l'IA compile ensuite l'explication de la recherche et les résultats expérimentaux dans un document de recherche accompagné de citations d'articles pertinents provenant de Semantic Scholar.
Sakana AI a mis au point un système automatisé de révision des articles qui utilise un LLM pour évaluer l'article de recherche avec une précision quasi humaine. Ce processus d'évaluation crée une boucle de rétroaction qui permet d'apporter des améliorations itératives aux documents de recherche.
Voici un exemple de l'un des documents de recherche créés par The AI Scientist : "DualScale Diffusion : Equilibrage adaptatif des caractéristiques pour les modèles génératifs à faible dimension".
Le scientifique de l'IA ne dispose pas actuellement de capacités visuelles, de sorte que certains graphiques, tracés et mises en page ne sont pas parfaits. L'utilisation des capacités de vision des modèles multimodaux dans la prochaine itération permettra d'y remédier.
Il souffre également de certaines des limitations auxquelles se heurtent les principaux modèles d'IA, comme les hallucinations, les raisonnements illogiques et la comparaison de l'ordre de grandeur de deux nombres. Toutefois, la dernière version de GPT-4o comprend enfin que 9,9 est plus grand que 9,11, ce qui devrait également s'améliorer.
Concernant le comportement
L'idée d'un scientifique IA entièrement automatisé qui s'améliore de manière récursive est à la fois excitante et effrayante. Le scientifique de l'IA a fait preuve d'un comportement émergent qui laisse entrevoir comment les choses pourraient mal tourner.
Les chercheurs ont "remarqué que The AI Scientist tente parfois d'augmenter ses chances de réussite, notamment en modifiant et en lançant son propre script d'exécution... Dans un autre cas, ses expériences ont pris trop de temps à se terminer, atteignant notre limite de temps. Au lieu d'accélérer l'exécution de son code, il a simplement essayé de modifier son propre code pour prolonger le délai d'attente".
L'AI Scientist pourrait être un outil précieux pour les chercheurs, mais ses créateurs affirment qu'il comporte également des risques importants d'utilisation abusive".
Pour un coût moyen d'environ $15 par article de recherche, quelqu'un pourrait utiliser l'outil pour inonder un système d'évaluation par les pairs déjà surchargé. Si ces évaluateurs humains surchargés décidaient de passer par défaut au système d'évaluation automatisé de Sakana AI, cela pourrait compromettre le contrôle de la qualité scientifique.
Les chercheurs ont également noté que The AI Scientist pouvait être utilisé de manière contraire à l'éthique. Si on lui donne accès à des "laboratoires en nuage" automatisés, il pourrait "créer de nouveaux virus dangereux ou des poisons qui nuisent aux gens avant que nous puissions intervenir. Même dans les ordinateurs, s'il est chargé de créer de nouveaux logiciels intéressants et fonctionnels, il pourrait créer des logiciels malveillants dangereux.
Nous devrons voir comment les articles de recherche générés par l'IA s'en sortent après un examen humain, mais à $15 par article, l'avenir de la recherche scientifique semble moins cher, plus rapide et beaucoup moins humain.
