DeepMind-forskare presenterade "FunSearch", en ny metod som utnyttjar stora språkmodeller (LLM) för att hitta nya lösningar inom matematik och datavetenskap.
Uppsatsen, som publicerades i Naturbeskriver FunSearch, som kombinerar en förtränad LLM som får i uppgift att hitta uppfinningsrika kodbaserade lösningar med en automatiserad utvärderare som minskar felaktigheter i problemlösningsprocessen.
Det börjar med att LLM används för att generera kreativa lösningar i form av datorkod. Därefter kontrollerar det automatiserade systemet dessa lösningar för att säkerställa att de är korrekta och användbara. Denna process upprepas och lösningarna förfinas ytterligare för varje cykel, varvid de ursprungliga idéerna utvecklas till ny, verifierad kunskap.
Enkelt uttryckt är FunSearch som en brainstorming mellan en mycket kreativ tänkare (LLM) och en strikt faktagranskare, som arbetar tillsammans för att hitta innovativa svar på komplexa problem.
Denna iterativa process gör det möjligt för initiala idéer att utvecklas till verifierad ny kunskap.
I DeepMinds nuvarande experiment har FunSearch framgångsrikt gett nya insikter i viktiga matematiska problem, inklusive cap set-problemet och bin-packing-problemet.
Hantering av cap set-problemet
En av de främsta framgångarna med FunSearch är dess prestanda i cap set-problemet, en komplex utmaning inom matematisk teori.
Här är en djupare titt på detta problem:
- Cap set-problemet är baserat på ett högdimensionellt rum, där målet är att hitta den största möjliga uppsättningen punkter (en cap set) där inga tre punkter ligger i en rak linje.
- Utmaningen ligger i den exponentiella tillväxten av möjliga kombinationer i takt med att utrymmets dimensionalitet ökar, vilket gör att traditionella beräkningsmetoder blir ineffektiva.
- FunSearchs genombrott ligger i att generera program som identifierade större cap-set än vad som tidigare varit känt, vilket visar på en oöverträffad förmåga att överträffa mänskligt driven matematisk kunskap.
Ett mer praktiskt problem som hanteras av FunSearch är bin packing-problemet, som söker optimala strategier för att packa föremål av varierande storlek i containrar, en utmaning som är relevant både i fysiska scenarier, som att organisera fraktcontainrar, och inom datavetenskap, som att organisera beräkningsuppgifter för effektivitet.
Traditionella metoder innebär vanligtvis att föremålen packas i det första lediga utrymmet eller i det utrymme där det finns minst utrymme kvar.
FunSearch introducerade dock effektiva metoder som strategiskt undviker att lämna ofyllbara små luckor.
FunSearchs potentiella användningsområden
Jordan Ellenberg, professor i matematik vid University of Wisconsin-Madison och medförfattare till artikeln, betonade FunSearchs betydelse för framtiden för interaktion mellan människa och maskin inom datavetenskap och matematik.
"Vad jag tycker är riktigt spännande, till och med mer än de specifika resultat vi hittade, är de utsikter som det antyder för framtiden för interaktion mellan människa och maskin i matematik", säger Ellenberg.
Han fortsatte: "Istället för att generera en lösning genererar FunSearch ett program som hittar lösningen. En lösning på ett specifikt problem kanske inte ger mig någon insikt i hur man löser andra relaterade problem."
"Men ett program som hittar lösningen, det är något som en människa kan läsa och tolka och förhoppningsvis därigenom generera idéer för nästa problem och nästa och nästa."
Här kan du läsa mer om hur FunSearch bryter ny mark inom maskininlärning:
- Kreativ problemlösning med kodgenerering: Till skillnad från många AI-system som fokuserar på dataanalys eller mönsterigenkänning är FunSearch specialiserat på att generera kreativa lösningar i datorkod. Det gör det möjligt att ta itu med problem som inte bara handlar om att tolka data utan också om att skapa nya sätt att lösa komplexa frågor.
- Iterativ förfining: FunSearch använder en iterativ process för att kontinuerligt förbättra lösningarna. Det börjar med en första idé som genereras av LLM, som sedan förfinas genom en serie utvärderingar och förbättringar. Denna process efterliknar hur människor ofta löser problem - genom att börja med en grov idé och förbättra den över tid.
- Kreativitet och noggrannhet: FunSearch överbryggar klyftan mellan kreativ problemlösning och rigorös utvärdering. LLM bidrar med kreativitet och innovation och genererar nya och outforskade lösningar, medan den automatiska utvärderaren säkerställer att dessa lösningar är korrekta och genomförbara. Denna dubbla strategi är avgörande inom vetenskapliga områden där innovation måste kombineras med precision.
- Öppenhet och insyn: En av de unika aspekterna med FunSearch är dess förmåga att ge transparenta och tolkningsbara resultat. Istället för att ge ett slutgiltigt svar genereras ett program som beskriver hur man kom fram till lösningen. Denna transparens är viktig för vetenskaplig forskning, där det är lika viktigt att förstå processen som resultatet.
Pushmeet Kohli, chef för AI for science på DeepMind, förklarade hur FunSearch öppnar upp för en ny form av forskning inom maskininlärning: "Det här kommer faktiskt att förändra hur människor närmar sig datavetenskap och algoritmiska upptäckter. För första gången ser vi att LLM inte tar över, men definitivt hjälper till att flytta fram gränserna för vad som är möjligt i algoritmer."
Genom att kombinera LLM:s kreativa förmåga med rigorös utvärdering illustrerar FunSearch ett nytt sätt att ta itu med komplexa öppna problem. Dess praktiska användningsområden kommer att bli fascinerande.
