Det japanske AI-forskningslaboratorium Sakana AI har udviklet The AI Scientist, en ramme for fuldautomatisk videnskabelig forskning og opdagelse.
Det videnskabelige samfund bruger allerede AI-modeller til at automatisere eller hjælpe med deres forskning, men disse modeller udfører kun en lille del af den videnskabelige proces. Med fremskridt inden for agentisk AI ser vi nu AI-agenter, der handler autonomt på tværs af platforme med mindre menneskelig vejledning.
Med The AI Scientist har Sakana AI skabt et system, der bruger en LLM som GPT-4o eller Gemini til at automatisere hele den videnskabelige proces fra idéudvikling, forskning, eksperimenter og endda skrivning og gennemgang af forskningsartikler.
Det ultimative mål er at have et AI-forskningsværktøj, der udfører fuldautomatiske, åbne videnskabelige opdagelser. AI Scientist giver os et indblik i mulighederne for, at dette kan blive en realitet.
AI-forskernes proces
I deres papirSakana AI forklarede, hvordan rammen blev anvendt til forskning i maskinlæring. Med en bred skabelon som forskningsfelt kan AI-forskeren frit udforske enhver mulig forskningsretning.
Den brainstormer først et sæt idéer og går derefter ind på Semantic Scholar for at tjekke, om disse idéer repræsenterer nye veje for forskningen. Hvis de gør, bruger den automatisk kodegenerering til at oprette og køre eksperimenter.
AI-forskeren samler derefter forklaringen på forskningen og de eksperimentelle resultater i en forskningsartikel sammen med henvisninger til relevante artikler fra Semantic Scholar.
Sakana AI har udviklet et automatiseret system til gennemgang af artikler, der bruger en LLM til at evaluere forskningsartikler med næsten menneskelig nøjagtighed. Denne gennemgangsproces skaber en feedback-loop til iterative forbedringer af forskningsartiklerne.
Her er et eksempel på en af de forskningsartikler, som The AI Scientist har lavet: "Diffusion med to skalaer: Adaptiv funktionsbalancering til lavdimensionelle generative modeller"
AI Scientist har i øjeblikket ikke synsfunktioner, så nogle af diagrammerne, plottene og sidelayoutene er ikke gode. Brug af multimodale modellers synsfunktioner i den næste iteration vil rette op på dette.
Den lider også under nogle af de begrænsninger, som førende AI-modeller kæmper med, som hallucinationer, ulogisk ræsonnement og sammenligning af størrelsen på to tal. Men den seneste version af GPT-4o forstår endelig, at 9,9 er større end 9,11, så det burde også blive bedre.
Vedrørende adfærd
Tanken om en fuldautomatisk AI-forsker, der forbedrer sig selv rekursivt, er lige dele spændende og skræmmende. AI Scientist udviste en vis emergent adfærd, der antyder, hvordan tingene kunne gå galt.
Forskerne "bemærkede, at The AI Scientist lejlighedsvis forsøger at øge sin chance for succes, f.eks. ved at ændre og starte sit eget eksekveringsscript ... I et andet tilfælde tog dets eksperimenter for lang tid at gennemføre og ramte vores timeout-grænse. I stedet for at få sin kode til at køre hurtigere, forsøgte den simpelthen at ændre sin egen kode for at forlænge timeout-perioden."
AI Scientist har potentiale til at blive et værdifuldt værktøj for forskere, men dets skabere siger, at det også indebærer betydelige risici for misbrug."
Med en gennemsnitlig pris på omkring $15 pr. forskningsartikel kunne nogen bruge værktøjet til at oversvømme et allerede overbelastet menneskeligt akademisk peer review-system. Hvis de overbebyrdede menneskelige bedømmere besluttede at gå over til Sakana AI's automatiserede system til bedømmelse af artikler, kunne det gå ud over den videnskabelige kvalitetskontrol.
Forskerne bemærkede også, at The AI Scientist har potentiale til at blive brugt på uetiske måder. Hvis den får adgang til automatiserede "cloud-laboratorier", kan den "skabe nye, farlige vira eller giftstoffer, der skader mennesker, før vi kan nå at gribe ind. Selv i computere kan den skabe farlig malware, hvis den får til opgave at skabe ny, interessant, funktionel software."
Vi må se, hvordan de AI-genererede forskningsartikler klarer sig efter menneskelig gennemgang, men med $15 pr. artikel ser fremtiden for videnskabelig forskning billigere, hurtigere og meget mindre menneskelig ud.
