DeepMind-forskere presenterte "FunSearch", en ny metode som utnytter store språkmodeller (LLM) for å finne nye løsninger innen matematikk og informatikk.
Artikkelen, som ble publisert i Naturbeskriver FunSearch, som kombinerer en ferdig opplært LLM som får i oppgave å finne oppfinnsomme kodebaserte løsninger, med en automatisert evaluator som reduserer unøyaktigheter i problemløsningsprosessen.
Først brukes LLM til å generere kreative løsninger i form av datakode. Deretter kontrollerer det automatiserte systemet disse løsningene for å sikre at de er korrekte og nyttige. Denne prosessen gjentas, og for hver syklus forfines løsningene ytterligere, slik at de opprinnelige ideene utvikles til ny, verifisert kunnskap.
FunSearch er enkelt sagt som en idédugnad mellom en svært kreativ tenker (LLM-en) og en streng faktasjekker, som jobber sammen for å finne innovative svar på komplekse problemer.
Denne iterative prosessen gjør det mulig å utvikle de første ideene til ny, verifisert kunnskap.
I DeepMinds nåværende eksperimenter har FunSearch gitt ny innsikt i viktige matematiske problemer, deriblant cap set-problemet og bin-packing-problemet.
Løsning på problemet med taksett
En av de største suksessene til FunSearch er dens prestasjoner i cap set-problemet, en kompleks utfordring innen matematisk teori.
Her ser vi nærmere på dette problemet:
- Cap set-problemet er basert på et høydimensjonalt rom, der målet er å finne det størst mulige settet av punkter (et cap set) der ingen av de tre punktene ligger på en rett linje.
- Utfordringen skyldes den eksponentielle veksten i antall mulige kombinasjoner etter hvert som dimensjonaliteten i rommet øker, noe som gjør tradisjonelle beregningsmetoder ineffektive.
- FunSearchs gjennombrudd ligger i å generere programmer som identifiserte større sett med hetter enn tidligere kjent, noe som demonstrerer en enestående evne til å overgå menneskedrevet matematisk kunnskap.
Et mer praktisk problem som FunSearch tar for seg, er "bin packing"-problemet, som søker optimale strategier for å pakke gjenstander av ulik størrelse i beholdere, en utfordring som er relevant både i fysiske scenarier, som organisering av fraktcontainere, og i datavitenskap, som organisering av databehandlingsoppgaver for å oppnå effektivitet.
Tradisjonelle metoder innebærer vanligvis at man pakker gjenstander i det første ledige rommet eller i det rommet hvor det er minst plass igjen.
FunSearch introduserte imidlertid effektive tilnærminger som strategisk unngår å etterlate små hull som ikke kan fylles ut.
FunSearchs potensielle bruksområder
Jordan Ellenberg, matematikkprofessor ved University of Wisconsin-Madison og medforfatter av artikkelen, la vekt på FunSearchs betydning for fremtidens interaksjon mellom menneske og maskin innen informatikk og matematikk.
"Det jeg synes er veldig spennende, enda mer enn de spesifikke resultatene vi fant, er utsiktene det gir for fremtidens interaksjon mellom menneske og maskin i matematikk", sier Ellenberg.
Han utdyper: "I stedet for å generere en løsning, genererer FunSearch et program som finner løsningen. En løsning på et spesifikt problem gir meg kanskje ingen innsikt i hvordan jeg kan løse andre beslektede problemer."
"Men et program som finner løsningen, det er noe et menneske kan lese og tolke, og forhåpentligvis kan det generere ideer til neste problem, og det neste, og det neste, og det neste."
Her kan du lese mer om hvordan FunSearch bryter ny mark innen maskinlæring:
- Kreativ problemløsning med kodegenerering: I motsetning til mange AI-systemer som fokuserer på dataanalyse eller mønstergjenkjenning, spesialiserer FunSearch seg på å generere kreative løsninger i datakode. Dette gjør det mulig å takle problemer som ikke bare handler om å tolke data, men også om å skape nye måter å løse komplekse problemer på.
- Iterativ foredling: FunSearch benytter en iterativ prosess for kontinuerlig forbedring av løsningene. Den starter med en første idé generert av LLM, som deretter forfines gjennom en rekke evalueringer og forbedringer. Denne prosessen etterligner hvordan mennesker ofte løser problemer - man starter med en grov idé og forbedrer den over tid.
- Kreativitet og stringens: FunSearch bygger bro mellom kreativ problemløsning og streng evaluering. LLM bidrar med kreativitet og innovasjon og genererer nye og uutforskede løsninger, mens den automatiserte evalueringen sikrer at disse løsningene er nøyaktige og levedyktige. Denne tosidige tilnærmingen er avgjørende på vitenskapelige felt der innovasjon må kombineres med presisjon.
- Åpenhet: Et av de unike aspektene ved FunSearch er at det gir transparente og tolkbare resultater. I stedet for å gi et endelig svar, genereres det et program som beskriver hvordan man kom frem til løsningen. Denne åpenheten er avgjørende for vitenskapelig forskning, der det å forstå prosessen er like viktig som resultatet.
Pushmeet Kohli, leder for AI for vitenskap hos DeepMind, forklarte hvordan FunSearch åpner opp for en ny form for maskinlæringsforskning: "Dette kommer faktisk til å endre hvordan folk tilnærmer seg datavitenskap og algoritmisk forskning. For første gang ser vi at LLM-er ikke tar over, men definitivt bidrar til å flytte grensene for hva som er mulig innen algoritmer."
FunSearch kombinerer LLM-forskernes kreative evner med grundig evaluering, og illustrerer en ny tilnærming til å løse komplekse, åpne problemer. Den praktiske bruken av FunSearch vil være fascinerende.
