DeepMind-forskere afslørede "FunSearch", en ny metode, der udnytter store sprogmodeller (LLM'er) til at finde nye løsninger inden for matematik og datalogi.
Artiklen er udgivet i Naturenbeskriver FunSearch, som kombinerer en prætrænet LLM, der får til opgave at finde opfindsomme kodebaserede løsninger, og en automatiseret evaluator, der mindsker unøjagtigheder i problemløsningsprocessen.
Det starter med at bruge LLM til at generere kreative løsninger i form af computerkode. Derefter kontrollerer det automatiserede system disse løsninger for at sikre, at de er korrekte og brugbare. Denne proces gentages, og løsningerne forfines yderligere for hver cyklus, så de oprindelige ideer udvikles til ny, verificeret viden.
FunSearch er kort sagt en brainstorming mellem en meget kreativ tænker (LLM'eren) og en streng faktatjekker, der arbejder sammen om at finde innovative svar på komplekse problemer.
Denne iterative proces gør det muligt for de første ideer at udvikle sig til verificeret ny viden.
I DeepMinds nuværende eksperimenter har FunSearch med succes givet ny indsigt i vigtige matematiske problemer, herunder cap set-problemet og bin-packing-problemet.
Håndtering af cap set-problemet
En af de primære succeser med FunSearch er dens præstation i cap set-problemet, en kompleks udfordring inden for matematisk teori.
Her er et dybere kig på dette problem:
- Cap set-problemet er baseret på et højdimensionelt rum, hvor målet er at finde det størst mulige sæt af punkter (et cap set), hvor ingen af de tre punkter ligger på en lige linje.
- Udfordringen stammer fra den eksponentielle vækst i mulige kombinationer, når rummets dimensionalitet øges, hvilket gør traditionelle beregningsmetoder ineffektive.
- FunSearchs gennembrud ligger i at generere programmer, der identificerede større sæt af kasketter end tidligere kendt, hvilket demonstrerer en hidtil uset evne til at overgå menneskedrevet matematisk viden.
Et mere praktisk problem, der tackles af FunSearch, er bin packing-problemet, som søger optimale strategier til at pakke varer af forskellig størrelse i containere, en udfordring, der er relevant både i fysiske scenarier, som f.eks. organisering af skibscontainere, og i datalogi, som f.eks. organisering af databehandlingsopgaver med henblik på effektivitet.
Traditionelle metoder går typisk ud på at pakke ting ned i det første ledige rum eller i det rum, hvor der er mindst plads tilbage.
Men FunSearch introducerede effektive tilgange, der strategisk undgår at efterlade uudfyldelige små huller.
FunSearchs potentielle anvendelser
Jordan Ellenberg, matematikprofessor ved University of Wisconsin-Madison og medforfatter til artiklen, understregede betydningen af FunSearch for fremtiden for interaktion mellem menneske og maskine inden for datalogi og matematik.
"Det, jeg synes er virkelig spændende, endnu mere end de specifikke resultater, vi fandt, er de udsigter, det giver for fremtiden for interaktion mellem menneske og maskine i matematik", siger Ellenberg.
Han uddyber: "I stedet for at generere en løsning, genererer FunSearch et program, der finder løsningen. En løsning på et specifikt problem giver mig måske ingen indsigt i, hvordan man løser andre relaterede problemer."
"Men et program, der finder løsningen, det er noget, et menneske kan læse og fortolke og forhåbentlig derved generere ideer til det næste problem og det næste og det næste."
Her er flere detaljer om, hvordan FunSearch går nye veje inden for maskinlæring:
- Kreativ problemløsning med kodegenerering: I modsætning til mange AI-systemer, der fokuserer på dataanalyse eller mønstergenkendelse, er FunSearch specialiseret i at generere kreative løsninger i computerkode. Det gør den i stand til at tackle problemer, der ikke kun handler om at fortolke data, men også om at skabe nye måder at løse komplekse problemer på.
- Iterativ forfining: FunSearch anvender en iterativ proces, hvor løsningerne løbende forbedres. Det starter med en indledende idé genereret af LLM, som derefter forfines gennem en række evalueringer og forbedringer. Denne proces efterligner, hvordan mennesker ofte løser problemer - ved at starte med en grov idé og forbedre den over tid.
- Kreativitet og stringens: FunSearch bygger bro mellem kreativ problemløsning og stringent evaluering. LLM bringer kreativitet og innovation og genererer nye og uudforskede løsninger, mens den automatiske evaluator sikrer, at disse løsninger er nøjagtige og levedygtige. Denne dobbelte tilgang er afgørende inden for videnskabelige områder, hvor innovation skal kombineres med præcision.
- Gennemsigtighed: Et af de unikke aspekter ved FunSearch er dens evne til at give gennemsigtige, fortolkelige resultater. I stedet for at give et endeligt svar genererer den et program, der beskriver, hvordan man nåede frem til løsningen. Denne gennemsigtighed er afgørende for videnskabelig forskning, hvor det er lige så vigtigt at forstå processen som resultatet.
Lederen af AI for videnskab hos DeepMind, Pushmeet Kohli, forklarede, hvordan FunSearch åbner op for en ny form for forskning i maskinlæring: "Det kommer faktisk til at ændre den måde, hvorpå folk griber datalogi og algoritmisk opdagelse an. For første gang ser vi, at kandidatstuderende ikke tager over, men helt sikkert hjælper med at skubbe grænserne for, hvad der er muligt inden for algoritmer."
Ved at blande LLM'ernes kreative evner med streng evaluering illustrerer FunSearch en ny tilgang til at tackle komplekse, åbne problemer. Dens praktiske anvendelser vil være fascinerende.
