Microsoft-forskere har utviklet en Algorithm of Thoughts (AoT), som er et paradigmeskifte i hvordan AI løser problemer.
AoT ble utviklet for å få LLM-er til å tenke mer som mennesker og bli mer effektive når det gjelder problemløsning. Microsoft hevder at dens ny tilnærming kombinerer "nyansene i menneskelig resonnering og den disiplinerte presisjonen i algoritmiske metoder".
Den nåværende Chain of Thought-prosessen som LLM-er som ChatGPT bruker, baserer seg på statistiske mønstre for å gå fra prompt til output. Det er en veldig lineær progresjon fra problem til løsning, ettersom LLM-en deler løsningen opp i mindre trinn.
Problemet med denne tilnærmingen er at opplæringsdataene ikke alltid er tilstrekkelige, så noen ganger mangler det noen trinn. Når dette skjer, blir LLM kreativ og hallusinerer til å fylle ut hullene med feil svar.
En mer avansert teknikk som noen LLM-er bruker, er å finne en løsning ved hjelp av en "Tree of Thought"-tilnærming. LLM-en følger flere lineære veier fra problem til løsning og stopper når den treffer en løsning som ikke er levedyktig.
Men dette innebærer mange spørringer og krever mye minne og dataressurser.
Hva gjør AoT bedre?
Med AoT evaluerer algoritmen de første stegene i en potensiell løsning og avgjør tidlig om en tilnærming er verdt å forfølge eller ikke. På den måten unngår man at algoritmen hardnakket slår inn på en åpenbart feil vei, for så å måtte finne på noe nytt.
I stedet for en lineær tilnærming gir AoT LLM muligheten til å søke gjennom flere potensielle løsninger og til og med gå tilbake der det er nødvendig. I stedet for å starte fra begynnelsen igjen når den støter på en blindvei, kan den gå tilbake til forrige trinn og fortsette å utforske.
Den nåværende tilnærmingen LLM-ene bruker, er som å kjøre fra hjemmet til destinasjonen, kjøre seg vill og deretter dra hjem igjen for å prøve en annen rute. SUT-tilnærmingen er å kjøre tilbake til den siste feilkjøringen og prøve en ny rute fra det punktet.
Denne "læring i kontekst"-tilnærmingen gjør modellen mye mer strukturert og systematisk i måten den løser problemer på. Det er mye mindre ressurskrevende og kan potensielt eliminere problemet LLM-er har med å hallusinere.
Selv med denne nye tilnærmingen er AI fortsatt et stykke unna å faktisk tenke og resonnere slik mennesker gjør. Med AoT ser det imidlertid ut til at det er tatt et betydelig skritt i den retningen.
En av konklusjonene forskerne trakk av eksperimentene sine, var at "resultatene tyder på at det å instruere en LLM ved hjelp av en algoritme kan føre til en ytelse som overgår algoritmens egen."
Det er akkurat det hjernen vår gjør. Vi har en iboende evne til å lære nye ferdigheter som vi ikke kunne fra før. Tenk om et verktøy som ChatGPT kunne lære gjennom resonnementer uten behov for ytterligere opplæring.
Denne nye tilnærmingen kan også føre til at AI blir mer transparent i sin "tankeprosess", slik at vi får et innblikk i hva som faktisk skjer bak koden.
