DeepMind-onderzoekers hebben "FunSearch" onthuld, een nieuwe methode die gebruik maakt van grote taalmodellen (LLM's) om nieuwe wiskunde- en computerwetenschappelijke oplossingen op te sporen.
Het artikel, gepubliceerd in Natuurbeschrijft FunSearch, dat een combinatie is van een voorgetrainde LLM die belast is met inventieve, op code gebaseerde oplossingen en een geautomatiseerde evaluator die onnauwkeurigheden in het probleemoplossingsproces vermindert.
Het begint met het gebruik van de LLM om creatieve oplossingen te genereren in de vorm van computercode. Vervolgens controleert het geautomatiseerde systeem deze oplossingen om er zeker van te zijn dat ze correct en bruikbaar zijn. Dit proces wordt herhaald, waarbij de oplossingen elke cyclus verder worden verfijnd, zodat de eerste ideeën evolueren naar nieuwe, geverifieerde kennis.
Eenvoudig gezegd is FunSearch als een brainstormsessie tussen een zeer creatieve denker (de LLM) en een strenge feitencontroleur, die samenwerken om innovatieve antwoorden te vinden op complexe problemen.
Dit iteratieve proces zorgt ervoor dat eerste ideeën zich ontwikkelen tot geverifieerde nieuwe kennis.
In de huidige experimenten van DeepMind heeft FunSearch met succes nieuwe inzichten opgeleverd in belangrijke wiskundige problemen, waaronder het cap set probleem en het bin-packing probleem.
Het cap set probleem aanpakken
Een van de belangrijkste successen van FunSearch is zijn prestatie in het cap set probleem, een complexe uitdaging binnen de wiskundige theorie.
Hier gaan we dieper in op dit probleem:
- Het cap set probleem is gebaseerd op een hoogdimensionale ruimte, waarbij het doel is om de grootst mogelijke verzameling punten (een cap set) te vinden waarbij geen drie punten in een rechte lijn liggen.
- De uitdaging komt voort uit de exponentiële groei van mogelijke combinaties naarmate de dimensionaliteit van de ruimte toeneemt, waardoor traditionele computationele benaderingen ineffectief worden.
- De doorbraak van FunSearch ligt in het genereren van programma's die grotere cap sets identificeerden dan eerder bekend, waarmee een ongekend vermogen wordt aangetoond om door mensen gestuurde wiskundige kennis te overtreffen.
Een meer praktisch probleem dat FunSearch aanpakt is het bin packing probleem, dat optimale strategieën zoekt voor het verpakken van items van verschillende grootte in containers, een uitdaging die relevant is in zowel fysieke scenario's, zoals het organiseren van scheepscontainers, als in de computerwetenschap, zoals het organiseren van rekentaken voor efficiëntie.
Bij traditionele methoden worden spullen meestal ingepakt in de eerst beschikbare ruimte of in de ruimte met de minste overgebleven ruimte.
FunSearch heeft echter effectieve benaderingen geïntroduceerd waarmee strategisch wordt voorkomen dat er onvulbare kleine gaten ontstaan.
Potentiële toepassingen van FunSearch
Jordan Ellenberg, hoogleraar wiskunde aan de Universiteit van Wisconsin-Madison en co-auteur van het artikel, benadrukte de implicaties van FunSearch voor de toekomst van mens-machine-interactie in computerwetenschap en wiskunde.
"Wat ik echt opwindend vind, meer nog dan de specifieke resultaten die we hebben gevonden, zijn de vooruitzichten die het suggereert voor de toekomst van mens-machine interactie in wiskunde," zei Ellenberg.
Hij zei hierover: "In plaats van een oplossing te genereren, genereert FunSearch een programma dat de oplossing vindt. Een oplossing voor een specifiek probleem geeft me misschien geen inzicht in hoe ik andere gerelateerde problemen moet oplossen."
"Maar een programma dat de oplossing vindt, dat is iets dat een mens kan lezen en interpreteren en hopelijk daardoor ideeën kan genereren voor het volgende probleem en het volgende en het volgende."
Hier vindt u meer informatie over hoe FunSearch nieuwe wegen inslaat op het gebied van machinaal leren:
- Creatief problemen oplossen met codegeneratie: In tegenstelling tot veel AI-systemen die zich richten op gegevensanalyse of patroonherkenning, is FunSearch gespecialiseerd in het genereren van creatieve oplossingen in computercode. Hierdoor kan het problemen aanpakken die niet alleen te maken hebben met het interpreteren van gegevens, maar ook met het creëren van nieuwe manieren om complexe problemen op te lossen.
- Iteratieve verfijning: FunSearch maakt gebruik van een iteratief proces waarbij oplossingen voortdurend worden verbeterd. Het begint met een eerste idee dat wordt gegenereerd door de LLM en wordt vervolgens verfijnd door middel van een reeks evaluaties en verbeteringen. Dit proces bootst na hoe mensen vaak problemen oplossen - beginnen met een ruw idee en dit na verloop van tijd verbeteren.
- Creativiteit en nauwkeurigheid: FunSearch overbrugt de kloof tussen het creatief oplossen van problemen en strenge evaluatie. De LLM zorgt voor creativiteit en innovatie en genereert nieuwe en onontdekte oplossingen, terwijl de geautomatiseerde evaluator ervoor zorgt dat deze oplossingen nauwkeurig en uitvoerbaar zijn. Deze tweeledige aanpak is cruciaal op wetenschappelijke gebieden waar innovatie moet worden gekoppeld aan precisie.
- Transparantie: Een van de unieke aspecten van FunSearch is de mogelijkheid om transparante, interpreteerbare resultaten te leveren. In plaats van een definitief antwoord te geven, genereert het een programma waarin gedetailleerd wordt uitgelegd hoe die oplossing tot stand is gekomen. Deze transparantie is van vitaal belang voor wetenschappelijk onderzoek, waarbij inzicht in het proces net zo belangrijk is als het resultaat.
Pushmeet Kohli, hoofd AI voor wetenschap bij DeepMind, legde uit hoe FunSearch een nieuwe vorm van onderzoek naar machinaal leren ontsluit: "Dit gaat eigenlijk een transformatie teweegbrengen in de manier waarop mensen computerwetenschap en algoritmische ontdekking benaderen. Voor het eerst zien we dat LLM's het niet overnemen, maar zeker helpen bij het verleggen van de grenzen van wat mogelijk is in algoritmen."
Door het creatieve vermogen van LLM's te combineren met rigoureuze evaluatie, illustreert FunSearch een nieuwe benadering voor het aanpakken van complexe open problemen. De praktische toepassingen zullen fascinerend zijn.
