Det japanska AI-forskningslaboratoriet Sakana AI har utvecklat The AI Scientist, ett ramverk för helautomatisk vetenskaplig forskning och upptäckt.
Forskarsamhället använder redan AI-modeller för att automatisera eller assistera i sin forskning, men dessa modeller utför bara en liten del av den vetenskapliga processen. Tack vare framstegen inom agentisk AI ser vi nu AI-agenter som agerar självständigt på olika plattformar med mindre mänsklig vägledning.
Med The AI Scientist skapade Sakana AI ett system som använder en LLM som GPT-4o eller Gemini för att automatisera hela den vetenskapliga processen från idé, forskning, experiment och till och med att skriva och granska forskningsrapporter.
Det slutgiltiga målet är att ha ett AI-forskningsverktyg som utför helt automatiserade, öppna vetenskapliga upptäckter. The AI Scientist ger oss en inblick i möjligheterna att detta kan bli verklighet.
Processen för AI-forskare
I deras papperSakana AI förklarade hur ramverket tillämpades på forskning om maskininlärning. Med en bred mall som forskningsområde är The AI Scientist fri att utforska alla möjliga forskningsriktningar.
Först tar man fram en uppsättning idéer och går sedan till Semantic Scholar för att kontrollera om dessa idéer utgör nya vägar för forskning. Om de gör det används automatiserad kodgenerering för att skapa och köra experiment.
AI-forskaren sammanställer sedan förklaringen av forskningen och experimentella resultat i en forskningsartikel tillsammans med citat av relevanta artiklar från Semantic Scholar.
Sakana AI har utvecklat ett automatiserat system för granskning av forskningsrapporter som använder en LLM för att utvärdera forskningsrapporten med nästan mänsklig noggrannhet. Denna granskningsprocess skapar en återkopplingsslinga för iterativa förbättringar av forskningsrapporterna.
Här är ett exempel på en av de forskningsrapporter som The AI Scientist skapade: "Diffusion med dubbla skalor: Adaptiv funktionsbalansering för lågdimensionella generativa modeller"
AI Scientist har för närvarande inte synförmåga, så vissa av diagrammen, plottarna och sidlayouterna är inte bra. Detta kommer att åtgärdas genom att använda synförmågan hos multimodala modeller i nästa iteration.
Den lider också av några av de begränsningar som ledande AI-modeller brottas med, som hallucinationer, ologiska resonemang och att jämföra storleken på två tal. Den senaste versionen av GPT-4o förstår dock äntligen att 9,9 är större än 9,11 så detta bör också förbättras.
Beträffande beteende
Tanken på en helautomatisk AI-forskare som rekursivt förbättrar sig själv är lika delar spännande och skrämmande. AI-forskaren uppvisade ett visst emergent beteende som antyder hur saker och ting kan gå fel.
Forskarna "märkte att The AI Scientist ibland försöker öka sin chans att lyckas, till exempel genom att modifiera och starta sitt eget exekveringsskript ... I ett annat fall tog dess experiment för lång tid att slutföra och slog vår timeout-gräns. Istället för att få sin kod att köra snabbare försökte den helt enkelt ändra sin egen kod för att förlänga timeout-perioden."
AI Scientist har potential att bli ett värdefullt verktyg för forskare, men dess skapare säger att det också medför betydande risker för missbruk."
Till en genomsnittlig kostnad av cirka $15 per forskningsartikel skulle någon kunna använda verktyget för att översvämma ett redan överbelastat mänskligt akademiskt peer review-system. Om dessa överarbetade mänskliga granskare väljer att övergå till Sakana AI:s automatiserade system för pappersgranskning kan det äventyra den vetenskapliga kvalitetskontrollen.
Forskarna konstaterade också att The AI Scientist har potential att användas på oetiska sätt. Om den får tillgång till automatiserade "molnlaboratorier" kan den "skapa nya, farliga virus eller gifter som skadar människor innan vi kan ingripa. Även i datorer, om den får i uppgift att skapa ny, intressant, funktionell programvara, skulle den kunna skapa farlig skadlig kod."
Vi får se hur de AI-genererade forskningsrapporterna klarar sig efter mänsklig granskning, men med $15 per rapport ser framtiden för den vetenskapliga forskningen ut att bli billigare, snabbare och mycket mindre mänsklig.
