Microsoft-forskere har udviklet en Algorithm of Thoughts (AoT), som er et paradigmeskift i, hvordan AI løser problemer.
AoT blev udviklet for at få LLM'er til at tænke mere som mennesker og blive mere effektive til at løse problemer. Microsoft hævder, at dens ny tilgang kombinerer "nuancerne i menneskelig tænkning og den disciplinerede præcision i algoritmiske metoder".
Den nuværende Chain of Thought-proces, som LLM'er som ChatGPT bruger, er afhængig af statistiske mønstre for at gå fra prompt til output. Det er en meget lineær udvikling fra problem til løsning, da LLM'en deler løsningen op i mindre trin.
Problemet med denne tilgang er, at træningsdataene ikke altid er tilstrækkelige, så nogle gange mangler der nogle trin. Når det sker, bliver LLM kreativ og hallucinerer til at udfylde hullerne med et forkert svar.
En mere avanceret teknik, som nogle LLM'er bruger, er at finde en løsning ved hjælp af Tree of Thought-tilgangen. LLM'en følger flere lineære stier fra problem til løsning og stopper, når den rammer en uholdbar løsning.
Men det kræver mange forespørgsler og er meget hukommelses- og computerressourcekrævende.
Hvad gør AoT bedre?
Med AoT evaluerer algoritmen de første trin i en potentiel løsning og beslutter tidligt, om en tilgang er værd at forfølge eller ej. Det forhindrer den i stædigt at gå ned ad en åbenlyst forkert sti og derefter være nødt til at finde på noget.
I stedet for en lineær tilgang giver AoT også LLM mulighed for at søge gennem flere potentielle løsninger og endda gå tilbage, hvor det er nødvendigt. I stedet for at starte forfra, når den rammer en blindgyde, kan den gå tilbage til det forrige trin og fortsætte med at udforske.
Den nuværende tilgang, som LLM'erne bruger, svarer til at køre fra sit hjem til sin destination, fare vild og så køre hjem igen for at prøve en anden rute. AoT-tilgangen er bare at køre tilbage til den sidste forkerte vej og prøve en ny rute fra det punkt.
Denne "in-context learning"-tilgang gør det muligt for modellen at være meget mere struktureret og systematisk i den måde, den løser problemer på. Det er meget mindre ressourcekrævende og kan potentielt udrydde det problem, som LLM'er har med at hallucinere.
Selv med denne nye tilgang er AI stadig langt fra at kunne tænke og ræsonnere på samme måde som mennesker. Med AoT ser det dog ud til, at der er taget et betydeligt skridt i den retning.
En af forskernes konklusioner på deres eksperimenter var, at deres "resultater tyder på, at instruktion af en LLM ved hjælp af en algoritme kan føre til en ydeevne, der overgår algoritmens egen."
Det er præcis, hvad vores hjerner gør. Vi har en iboende evne til at lære nye færdigheder, som vi ikke kendte til før. Forestil dig, at et værktøj som ChatGPT var i stand til at lære gennem ræsonnement uden behov for yderligere træning.
Denne nye tilgang kan også føre til, at AI bliver mere gennemsigtig i sin "tænkeproces" og giver os et indblik i, hvad der faktisk sker bag koden.
