I ricercatori di Microsoft hanno sviluppato un Algoritmo dei Pensieri (AoT) che rappresenta un cambio di paradigma nel modo in cui l'IA risolve i problemi.
L'AoT è stato sviluppato per far sì che i LLM pensino come gli esseri umani e diventino più efficienti nella risoluzione dei problemi. Microsoft sostiene che il suo nuovo approccio combina le "sfumature del ragionamento umano e la precisione disciplinata delle metodologie algoritmiche".
L'attuale processo di Catena del Pensiero, utilizzato da LLM come ChatGPT, si basa su modelli statistici per passare dalla richiesta all'output. Si tratta di una progressione molto lineare dal problema alla soluzione, in quanto l'LLM suddivide la soluzione in fasi più piccole.
Il problema di questo approccio è che i dati di addestramento non sono sempre sufficienti, quindi a volte mancano alcuni passaggi. Quando ciò accade, l'LLM diventa creativo e allucinazioni per riempire gli spazi vuoti con una risposta errata.
Una tecnica più avanzata che alcuni LLM utilizzano è quella di trovare una soluzione utilizzando l'approccio dell'albero del pensiero. Il LLM segue più percorsi lineari dal problema alla soluzione e si ferma quando raggiunge una soluzione non praticabile.
Ma questo comporta molte query e richiede molta memoria e risorse di calcolo.
Cosa rende migliore AoT?
Con l'AoT l'algoritmo valuta i primi passi di una potenziale soluzione e decide in anticipo se vale la pena perseguire un approccio o meno. In questo modo, si evita di dirigersi ostinatamente verso una strada palesemente sbagliata e di dover poi inventare qualcosa.
Inoltre, invece di un approccio lineare, l'AoT dà al LLM la possibilità di cercare tra più soluzioni potenziali e anche di tornare indietro, se necessario. Invece di ricominciare dall'inizio quando si trova in un vicolo cieco, può tornare al passo precedente e continuare a esplorare.
L'approccio attuale dei LLM è come guidare da casa a destinazione, perdersi e poi tornare a casa per provare un percorso diverso. L'approccio di AoT consiste nel tornare indietro fino all'ultima svolta sbagliata e provare un nuovo percorso da quel punto.
Questo approccio di "apprendimento in contesto" consente al modello di essere molto più strutturato e sistematico nel modo in cui risolve i problemi. È molto meno avido di risorse e potrebbe potenzialmente eliminare il problema delle allucinazioni dei LLM.
Anche con questo approccio innovativo, l'IA è ancora lontana dal pensare e ragionare come gli esseri umani. Con AoT, tuttavia, sembra che sia stato fatto un passo significativo in questa direzione.
Una conclusione che i ricercatori hanno tratto dai loro esperimenti è che "i risultati suggeriscono che istruire un LLM utilizzando un algoritmo può portare a prestazioni superiori a quelle dell'algoritmo stesso".
È esattamente quello che fa il nostro cervello. Abbiamo la capacità intrinseca di apprendere nuove abilità che prima non conoscevamo. Immaginate se uno strumento come ChatGPT fosse in grado di imparare attraverso il ragionamento, senza bisogno di ulteriore formazione.
Questo nuovo approccio potrebbe anche portare l'IA a essere più trasparente nel suo processo di "pensiero", dandoci una visione di ciò che sta effettivamente accadendo dietro il codice.
