Microsoft-Forscher haben einen Algorithmus der Gedanken (Algorithm of Thoughts, AoT) entwickelt, der einen Paradigmenwechsel bei der Lösung von Problemen durch KI darstellt.
Das AoT wurde entwickelt, um LLMs dazu zu bringen, mehr wie Menschen zu denken und effizienter bei der Lösung von Problemen zu werden. Microsoft behauptet, dass sein neuer Ansatz kombiniert die "Nuancen des menschlichen Denkens mit der disziplinierten Präzision algorithmischer Methoden".
Der derzeitige Chain-of-Thought-Prozess, den LLMs wie ChatGPT verwenden, stützt sich auf statistische Muster, um von der Eingabe zur Ausgabe zu gelangen. Es ist eine sehr lineare Progression vom Problem zur Lösung, da der LLM die Lösung in kleinere Schritte aufteilt.
Das Problem bei diesem Ansatz ist, dass die Trainingsdaten nicht immer ausreichend sind, so dass manchmal einige Schritte fehlen. Wenn dies geschieht, wird der LLM kreativ und halluziniert die Lücken mit einer falschen Antwort auszufüllen.
Eine fortschrittlichere Technik, die einige LLMs verwenden, ist die Suche nach einer Lösung unter Verwendung des Denkbaums. Das LLM folgt mehreren linearen Pfaden vom Problem zur Lösung und hält an, wenn es auf eine unrentable Lösung stößt.
Dies erfordert jedoch eine Vielzahl von Abfragen und ist sehr speicher- und rechenintensiv.
Was macht AoT besser?
Mit AoT bewertet der Algorithmus die ersten Schritte einer möglichen Lösung und entscheidet frühzeitig, ob ein Ansatz verfolgt werden soll oder nicht. So wird verhindert, dass er stur einen offensichtlich falschen Weg einschlägt und sich dann etwas einfallen lassen muss.
Anstelle eines linearen Ansatzes gibt AoT dem LLM die Möglichkeit, mehrere potenzielle Lösungen zu durchsuchen und bei Bedarf sogar zurückzugehen. Anstatt wieder von vorne zu beginnen, wenn es auf eine Sackgasse stößt, kann es zum vorherigen Schritt zurückkehren und die Suche fortsetzen.
Die derzeitige Herangehensweise der LLMs ist so, als würde man von zu Hause zu seinem Ziel fahren, sich verfahren und dann zurück nach Hause fahren, um eine andere Route zu versuchen. Der AoT-Ansatz besteht darin, einfach zur letzten falschen Abzweigung zurückzukehren und von dort aus eine neue Route zu versuchen.
Dieser Ansatz des "kontextbezogenen Lernens" ermöglicht es dem Modell, viel strukturierter und systematischer an die Lösung von Problemen heranzugehen. Es ist viel weniger ressourcenhungrig und könnte möglicherweise das Problem der Halluzinationen bei LLMs aus der Welt schaffen.
Selbst mit diesem neuen Ansatz ist die KI noch weit davon entfernt, tatsächlich so zu denken und zu argumentieren wie der Mensch. Mit AoT scheint jedoch ein wichtiger Schritt in diese Richtung gemacht worden zu sein.
Eine Schlussfolgerung, die die Forscher aus ihren Experimenten zogen, war, dass ihre "Ergebnisse darauf hindeuten, dass die Instruktion eines LLM mit Hilfe eines Algorithmus zu einer Leistung führen kann, die die des Algorithmus selbst übertrifft".
Das ist genau das, was unser Gehirn tut. Wir haben die angeborene Fähigkeit, neue Fähigkeiten zu erlernen, die wir vorher nicht kannten. Stellen Sie sich vor, ein Tool wie ChatGPT wäre in der Lage, durch logisches Denken zu lernen, ohne dass eine weitere Schulung erforderlich wäre.
Dieser neue Ansatz könnte auch dazu führen, dass die KI in ihrem "Denk"-Prozess transparenter wird und uns einen Einblick in das gibt, was tatsächlich hinter dem Code passiert.
