DeepMind-Forscher stellten "FunSearch" vor, eine neuartige Methode, die große Sprachmodelle (Large Language Models, LLMs) nutzt, um neue mathematische und computerwissenschaftliche Lösungen zu finden.
Das Papier, veröffentlicht in Naturbeschreibt FunSearch, eine Kombination aus einem vorgebildeten LLM, das mit erfinderischen, codebasierten Lösungen beauftragt wird, und einem automatischen Auswerter, der Ungenauigkeiten im Problemlösungsprozess abmildert.
Zunächst werden mithilfe des LLM kreative Lösungen in Form von Computercode erstellt. Anschließend überprüft das automatisierte System diese Lösungen, um sicherzustellen, dass sie korrekt und nützlich sind. Dieser Prozess wird wiederholt, wobei die Lösungen in jedem Zyklus weiter verfeinert werden, so dass aus den anfänglichen Ideen neues, verifiziertes Wissen entsteht.
Einfach ausgedrückt, ist FunSearch wie ein Brainstorming zwischen einem sehr kreativen Denker (dem LLM) und einem strengen Faktenprüfer, die gemeinsam innovative Antworten auf komplexe Probleme finden.
Dieser iterative Prozess ermöglicht es, aus anfänglichen Ideen verifiziertes neues Wissen zu entwickeln.
In den aktuellen Experimenten von DeepMind hat FunSearch erfolgreich neue Erkenntnisse zu wichtigen mathematischen Problemen geliefert, darunter das Cap-Set-Problem und das Bin-Packing-Problem.
Bewältigung des Problems der Obergrenzen
Einer der wichtigsten Erfolge der FunSearch ist seine Leistung bei dem Cap-Set-Problem, einer komplexen Herausforderung innerhalb der mathematischen Theorie.
Hier ein tieferer Einblick in dieses Problem:
- Das Cap-Set-Problem basiert auf einem hochdimensionalen Raum, in dem das Ziel darin besteht, die größtmögliche Menge von Punkten (ein Cap-Set) zu finden, bei der keine drei Punkte auf einer geraden Linie liegen.
- Die Herausforderung besteht darin, dass die Zahl der möglichen Kombinationen mit zunehmender Dimensionalität des Raums exponentiell ansteigt, so dass herkömmliche Berechnungsmethoden unwirksam werden.
- Der Durchbruch von FunSearch liegt in der Entwicklung von Programmen, die größere Kappensätze identifizieren können als bisher bekannt, und damit eine noch nie dagewesene Fähigkeit demonstrieren, menschlich gesteuertes mathematisches Wissen zu übertreffen.
Ein praktischeres Problem, mit dem sich FunSearch befasst, ist das Bin-Packing-Problem, bei dem optimale Strategien für das Packen von Gegenständen unterschiedlicher Größe in Containern gesucht werden, eine Herausforderung, die sowohl in physischen Szenarien, wie der Organisation von Versandcontainern, als auch in der Computerwissenschaft, wie der effizienten Organisation von Computeraufgaben, relevant ist.
Bei herkömmlichen Methoden werden die Gegenstände in der Regel in den ersten verfügbaren Raum oder in den Raum mit dem geringsten verbleibenden Platz gepackt.
FunSearch hat jedoch wirksame Ansätze eingeführt, die es strategisch vermeiden, unüberbrückbare kleine Lücken zu hinterlassen.
Mögliche Anwendungen von FunSearch
Jordan Ellenberg, Mathematikprofessor an der University of Wisconsin-Madison und Mitautor der Studie, betonte die Bedeutung von FunSearch für die Zukunft der Mensch-Maschine-Interaktion in der Informatik und Mathematik.
"Was ich wirklich aufregend finde, sogar noch mehr als die spezifischen Ergebnisse, die wir gefunden haben, sind die Aussichten, die sich daraus für die Zukunft der Mensch-Maschine-Interaktion in der Mathematik ergeben", so Ellenberg.
Er führte weiter aus: "Anstatt eine Lösung zu generieren, erzeugt FunSearch ein Programm, das die Lösung findet. Eine Lösung für ein bestimmtes Problem gibt mir keinen Aufschluss darüber, wie ich andere verwandte Probleme lösen kann."
"Aber ein Programm, das die Lösung findet, ist etwas, das ein Mensch lesen und interpretieren kann und dadurch hoffentlich Ideen für das nächste Problem und das nächste und das nächste generiert."
Hier erfahren Sie mehr darüber, wie FunSearch neue Wege des maschinellen Lernens beschreitet:
- Kreative Problemlösung mit Codegenerierung: Im Gegensatz zu vielen KI-Systemen, die sich auf Datenanalyse oder Mustererkennung konzentrieren, ist FunSearch darauf spezialisiert, kreative Lösungen in Computercode zu generieren. Dadurch kann es Probleme angehen, bei denen es nicht nur um die Interpretation von Daten geht, sondern auch darum, neue Wege zur Lösung komplexer Probleme zu finden.
- Iterative Verfeinerung: FunSearch arbeitet mit einem iterativen Prozess der kontinuierlichen Verbesserung von Lösungen. Es beginnt mit einer ersten Idee, die vom LLM generiert wird, und wird dann durch eine Reihe von Bewertungen und Verbesserungen verfeinert. Dieser Prozess ahmt nach, wie Menschen oft Probleme lösen - sie beginnen mit einer groben Idee und verbessern sie im Laufe der Zeit.
- Kreativität und Strenge: FunSearch überbrückt die Kluft zwischen kreativer Problemlösung und strenger Bewertung. Das LLM bringt Kreativität und Innovation ein, indem es neue und unerforschte Lösungen generiert, während der automatische Evaluator sicherstellt, dass diese Lösungen genau und praktikabel sind. Dieser duale Ansatz ist in wissenschaftlichen Bereichen, in denen Innovation mit Präzision verbunden werden muss, von entscheidender Bedeutung.
- Transparenz: Einer der einzigartigen Aspekte von FunSearch ist seine Fähigkeit, transparente, interpretierbare Ergebnisse zu liefern. Anstatt eine endgültige Antwort zu geben, generiert es ein Programm, das detailliert beschreibt, wie diese Lösung erreicht wurde. Diese Transparenz ist entscheidend für die wissenschaftliche Forschung, bei der das Verständnis des Prozesses ebenso wichtig ist wie das Ergebnis.
Pushmeet Kohli, Leiter des Bereichs KI für Wissenschaft bei DeepMind, erklärte, wie FunSearch eine neue Form der Forschung im Bereich maschinelles Lernen ermöglicht: "Das wird die Art und Weise, wie Menschen an Informatik und algorithmische Entdeckungen herangehen, tatsächlich verändern. Zum ersten Mal sehen wir, dass LLMs nicht die Führung übernehmen, aber definitiv dabei helfen, die Grenzen dessen, was in Algorithmen möglich ist, zu verschieben."
Durch die Verbindung der kreativen Fähigkeiten von LLMs mit einer strengen Bewertung zeigt FunSearch einen neuartigen Ansatz zur Bewältigung komplexer offener Probleme. Sein praktischer Nutzen wird faszinierend sein.
