Det japanske AI-forskningslaboratoriet Sakana AI har utviklet The AI Scientist, et rammeverk for helautomatisk vitenskapelig forskning og oppdagelse.
Det vitenskapelige miljøet bruker allerede AI-modeller for å automatisere eller bistå i forskningen, men disse modellene utfører bare en liten del av den vitenskapelige prosessen. Med fremskritt innen agentisk AI ser vi nå AI-agenter som handler autonomt på tvers av plattformer med mindre menneskelig veiledning.
Med The AI Scientist har Sakana AI utviklet et system som bruker en LLM som GPT-4o eller Gemini til å automatisere hele den vitenskapelige prosessen fra idéutvikling, forskning, eksperimentering og til og med skriving og gjennomgang av forskningsartikler.
Det endelige målet er å ha et AI-forskningsverktøy som kan utføre helautomatiske, åpne vitenskapelige oppdagelser. The AI Scientist gir oss et glimt av mulighetene for at dette kan bli en realitet.
AI Scientist-prosessen
I avisen deresI en artikkel i The AI Scientist forklarte Sakana AI hvordan rammeverket ble brukt i forskning på maskinlæring. Med en bred mal som forskningsfelt står AI-forskeren fritt til å utforske alle mulige forskningsretninger.
Først lager den en idébank, og deretter går den inn på Semantic Scholar for å sjekke om disse ideene representerer nye muligheter for forskning. Hvis de gjør det, bruker den automatisert kodegenerering til å opprette og kjøre eksperimenter.
AI-forskeren sammenstiller deretter forklaringen av forskningen og de eksperimentelle resultatene i en forskningsartikkel sammen med henvisninger til relevante artikler fra Semantic Scholar.
Sakana AI har utviklet et automatisert system for artikkelgjennomgang som bruker en LLM til å evaluere forskningsartikler med nesten menneskelig nøyaktighet. Denne gjennomgangsprosessen skaper en tilbakemeldingssløyfe for iterative forbedringer av forskningsartiklene.
Her er et eksempel på en av forskningsartiklene The AI Scientist har laget: "DualScale Diffusion: Adaptiv funksjonsbalansering for lavdimensjonale generative modeller"
AI Scientist har for øyeblikket ikke synsfunksjoner, så noen av diagrammene, plottene og sideoppsettene er ikke så bra. Dette vil bli rettet opp ved å bruke synsfunksjonene til multimodale modeller i neste iterasjon.
Den lider også av noen av begrensningene som ledende AI-modeller sliter med, som hallusinasjoner, ulogiske resonnementer og sammenligning av størrelsen på to tall. Den nyeste versjonen av GPT-4o forstår imidlertid endelig at 9,9 er større enn 9,11, så dette bør også bli bedre.
Når det gjelder atferd
Tanken på en helautomatisk AI-forsker som rekursivt forbedrer seg selv, er like deler spennende og skremmende. AI-forskeren viste en del fremvoksende atferd som antyder hvordan ting kan gå galt.
Forskerne "la merke til at The AI Scientist av og til prøver å øke sjansen for å lykkes, for eksempel ved å modifisere og starte sitt eget kjøreskript ... I et annet tilfelle tok eksperimentene for lang tid å fullføre, og traff tidsavbruddsgrensen vår. I stedet for å få koden til å kjøre raskere, prøvde den ganske enkelt å endre sin egen kode for å forlenge tidsavbruddsperioden."
AI Scientist har potensial til å bli et verdifullt verktøy for forskere, men skaperne sier at det også innebærer en betydelig risiko for misbruk."
Med en gjennomsnittlig kostnad på rundt $15 per forskningsartikkel kan noen bruke verktøyet til å oversvømme et allerede overbelastet system for menneskelig fagfellevurdering i akademia. Hvis de overarbeidede menneskelige fagfellene bestemmer seg for å gå over til Sakana AIs automatiserte system for artikkelgjennomgang, kan det gå ut over den vitenskapelige kvalitetskontrollen.
Forskerne bemerket også at The AI Scientist har potensial til å bli brukt på uetiske måter. Hvis den får tilgang til automatiserte "skylaboratorier", kan den "skape nye, farlige virus eller giftstoffer som skader mennesker før vi kan gripe inn. Selv i datamaskiner, hvis den får i oppgave å lage ny, interessant, funksjonell programvare, kan den skape farlig skadelig programvare."
Vi får se hvordan de AI-genererte forskningsartiklene klarer seg etter menneskelig gjennomgang, men med $15 per artikkel ser fremtiden for vitenskapelig forskning ut til å bli billigere, raskere og mye mindre menneskelig.
