Onderzoekers van Microsoft hebben een Algorithm of Thoughts (AoT) ontwikkeld dat een paradigmaverschuiving is in de manier waarop AI problemen oplost.
De AoT is ontwikkeld om LLM's meer als mensen te laten denken en efficiënter te worden in het oplossen van problemen. Microsoft beweert dat de nieuwe aanpak combineert de "nuances van menselijk redeneren en de gedisciplineerde precisie van algoritmische methodes."
Het huidige Chain of Thought-proces dat LLM's zoals ChatGPT gebruiken, vertrouwt op statistische patronen om van prompt naar output te gaan. Het is een zeer lineaire progressie van probleem naar oplossing omdat de LLM de oplossing opdeelt in kleinere stappen.
Het probleem met deze aanpak is dat de trainingsgegevens niet altijd toereikend zijn, waardoor er soms stappen ontbreken. Als dit gebeurt, wordt de LLM creatief en hallucineert om de gaten op te vullen met een fout antwoord.
Een meer geavanceerde techniek die sommige LLM's gebruiken, is het vinden van een oplossing met behulp van de Denkboom-benadering. De LLM volgt meerdere lineaire paden van probleem naar oplossing en stopt wanneer het op een niet-levensvatbare oplossing stuit.
Maar dit brengt veel queries met zich mee en vraagt veel geheugen en rekenkracht.
Wat maakt AoT beter?
Met AoT evalueert het algoritme de eerste stappen van een potentiële oplossing en beslist al in een vroeg stadium of een benadering de moeite waard is om door te zetten of niet. Dit voorkomt dat het koppig een duidelijk verkeerd pad inslaat en vervolgens iets moet verzinnen.
In plaats van een lineaire benadering geeft AoT de LLM ook de mogelijkheid om meerdere potentiële oplossingen te doorzoeken en zelfs terug te gaan waar nodig. In plaats van weer bij het begin te beginnen als het op een dood spoor zit, kan het teruggaan naar de vorige stap en verder gaan met verkennen.
De huidige aanpak van LLM's is alsof je van je huis naar je bestemming rijdt, verdwaalt en dan terug naar huis gaat om een andere route te proberen. De AoT-aanpak is om gewoon terug te gaan naar je laatste verkeerde afslag en vanaf dat punt een nieuwe route te proberen.
Door deze "in-context-leren" benadering kan het model veel gestructureerder en systematischer problemen oplossen. Het vergt veel minder middelen en zou het probleem dat LLM's hebben met hallucineren kunnen oplossen.
Zelfs met deze nieuwe benadering is AI nog ver verwijderd van echt denken en redeneren zoals mensen dat doen. Met AoT lijkt het er echter op dat er een belangrijke stap in die richting is gezet.
Een van de conclusies die de onderzoekers trokken uit hun experimenten was dat hun "resultaten suggereren dat het instrueren van een LLM met behulp van een algoritme kan leiden tot prestaties die die van het algoritme zelf overtreffen."
Dat is precies wat onze hersenen doen. We hebben het inherente vermogen om nieuwe vaardigheden te leren die we voorheen niet kenden. Stel je voor dat een tool als ChatGPT in staat zou zijn om te leren door te redeneren zonder dat er verdere training nodig is.
Deze nieuwe benadering zou er ook toe kunnen leiden dat AI transparanter wordt in zijn "denkproces", waardoor we inzicht krijgen in wat er daadwerkelijk achter de code gebeurt.
