Microsofts forskare har utvecklat en Algorithm of Thoughts (AoT) som innebär ett paradigmskifte i hur AI löser problem.
AoT utvecklades för att få LLM:er att tänka mer som människor och bli mer effektiva i problemlösning. Microsoft hävdar att dess nytt tillvägagångssätt kombinerar "nyanserna i mänskliga resonemang och den disciplinerade precisionen i algoritmiska metoder".
Den nuvarande Chain of Thought-processen som LLM:er som ChatGPT använder, förlitar sig på statistiska mönster för att gå från prompt till output. Det är en mycket linjär progression från problem till lösning när LLM bryter upp lösningen i mindre steg.
Problemet med den här metoden är att träningsdata inte alltid är tillräckliga, så ibland saknas några steg. När detta händer blir LLM kreativ och hallucinerar att fylla i luckorna med ett felaktigt svar.
En mer avancerad teknik som vissa LLM:er använder sig av är att hitta en lösning med hjälp av ett tanketräd. LLM:n följer flera linjära vägar från problem till lösning och stannar när den stöter på en lösning som inte är genomförbar.
Men detta innebär många frågor och är mycket minnes- och datorresurskrävande.
Vad gör AoT bättre?
Med AoT utvärderar algoritmen de första stegen i en potentiell lösning och beslutar tidigt om en metod är värd att fortsätta med eller inte. Detta förhindrar att den envist väljer en uppenbart felaktig väg och sedan måste hitta på något nytt.
I stället för ett linjärt tillvägagångssätt ger AoT LLM möjlighet att söka igenom flera potentiella lösningar och till och med backa tillbaka vid behov. I stället för att börja om från början när man hamnar i en återvändsgränd kan man gå tillbaka till föregående steg och fortsätta utforska.
Det nuvarande tillvägagångssättet som LLM använder är som att köra från ditt hem till din destination, gå vilse och sedan åka tillbaka hem för att prova en annan väg. AoT-strategin är att bara gå tillbaka till din sista felaktiga sväng och prova en ny rutt från den punkten.
Denna metod för "inlärning i kontext" gör att modellen kan vara mycket mer strukturerad och systematisk i sitt sätt att lösa problem. Det är mycket mindre resurskrävande och kan potentiellt utrota problemet som LLM har med hallucinationer.
Även med detta nya tillvägagångssätt är AI fortfarande långt ifrån att faktiskt tänka och resonera som människor gör. Med AoT verkar det dock som om ett betydande steg har tagits i den riktningen.
En slutsats som forskarna drog av sina experiment var att deras "resultat tyder på att instruera en LLM med hjälp av en algoritm kan leda till prestanda som överträffar algoritmen själv."
Det är precis vad våra hjärnor gör. Vi har en inneboende förmåga att lära oss nya färdigheter som vi inte kände till tidigare. Tänk om ett verktyg som ChatGPT kunde lära sig genom resonemang utan behov av ytterligare utbildning.
Detta nya tillvägagångssätt kan också leda till att AI blir mer transparent i sin "tankeprocess", vilket ger oss en inblick i vad som faktiskt händer bakom koden.
