I ricercatori del Dipartimento di Economia della Baylor University hanno sperimentato ChatGPT per testare la sua capacità di prevedere eventi futuri. Il loro approccio intelligente alle richieste ha aggirato le barriere di sicurezza di OpenAI e ha fornito risultati sorprendentemente accurati.
I modelli di intelligenza artificiale sono per natura motori predittivi. ChatGPT sfrutta questa capacità predittiva per indovinare al meglio la parola successiva che dovrebbe emettere in risposta alla richiesta dell'utente.
Questa capacità predittiva può essere estesa a prevedere gli eventi del mondo reale? Nell'esperimento descritto in la loro cartaPham Hoang Van e Scott Cunningham hanno testato la capacità di ChatGPT di fare proprio questo.
Hanno sollecitato ChatGPT-3.5 e ChatGPT-4 chiedendo ai modelli di parlare di eventi accaduti nel 2022. Le versioni del modello utilizzate avevano solo dati di addestramento fino a settembre 2021, quindi in realtà stavano chiedendo ai modelli di guardare al "futuro", perché non avevano alcuna conoscenza degli eventi al di là dei dati di addestramento.
Raccontami una storia
I termini di servizio di OpenAI utilizzano alcuni paragrafi di legalese per dire essenzialmente che non è consentito utilizzare ChatGPT per cercare di prevedere il futuro.
Se si chiede direttamente a ChatGPT di prevedere eventi come i vincitori degli Oscar o i fattori economici, nella maggior parte dei casi si rifiuta di fare anche solo un'ipotesi.
I ricercatori hanno scoperto che quando si chiede a ChatGPT di comporre una storia immaginaria ambientata nel futuro in cui i personaggi raccontano ciò che è accaduto nel "passato", il programma risponde volentieri.
I risultati di ChatGPT-3.5 sono stati un po' altalenanti, ma il documento osserva che le previsioni di ChatGPT-4 "diventano insolitamente accurate... quando viene chiesto di raccontare storie ambientate nel futuro sul passato".
Ecco un esempio dei suggerimenti diretti e narrativi che i ricercatori hanno usato per far fare a ChatGPT delle previsioni sugli Academy Awards del 2022. I modelli sono stati sollecitati 100 volte e poi le loro previsioni sono state raccolte per ottenere una media delle loro previsioni.
Il vincitore del 2022 come miglior attore non protagonista è stato Troy Kotsur. Su richiesta diretta, ChatGPT-4 ha scelto Kotsur il 25% delle volte, mentre un terzo delle risposte alle 100 prove si è rifiutato di rispondere o ha detto che erano possibili più vincitori.
In risposta al prompt narrativo, ChatGPT-4 ha scelto correttamente Kotsur il 100% delle volte. Il confronto tra l'approccio diretto e quello narrativo ha dato risultati altrettanto impressionanti con altre previsioni. Eccone alcune.
Quando hanno utilizzato un approccio simile per far prevedere a ChatGPT dati economici come la disoccupazione mensile o i tassi di inflazione, i risultati sono stati interessanti.
L'approccio diretto ha suscitato il rifiuto di ChatGPT di offrire dati mensili. Tuttavia, "quando si chiede di raccontare una storia in cui Jerome Powell racconta un anno di dati futuri sulla disoccupazione e sull'inflazione, come se stesse parlando degli eventi del passato, le cose cambiano sostanzialmente".
I ricercatori hanno scoperto che, spingendo ChatGPT a concentrarsi sulla narrazione di una storia interessante in cui il compito di predizione era secondario, la precisione delle previsioni di ChatGPT faceva la differenza.
Quando è stato chiesto di utilizzare l'approccio narrativo, le previsioni mensili sull'inflazione di ChatGPT-4 erano in media paragonabili ai dati del sondaggio sulle aspettative dei consumatori dell'Università del Michigan.
È interessante notare che le previsioni di ChatGPT-4 erano più vicine a quelle degli analisti che alle cifre reali registrate alla fine per quei mesi. Ciò suggerisce che, se opportunamente sollecitato, ChatGPT potrebbe forse svolgere il lavoro di previsione di un analista economico almeno altrettanto bene.
I ricercatori hanno concluso che la tendenza di ChatGPT ad avere allucinazioni potrebbe essere vista come una forma di creatività che potrebbe essere sfruttata con suggerimenti strategici per renderlo una potente macchina di previsione.
"Questa rivelazione apre nuove strade per l'applicazione dei LLM nella previsione economica, nella pianificazione politica e oltre, sfidandoci a ripensare il modo in cui interagiamo e sfruttiamo le capacità di questi modelli sofisticati", hanno concluso.
Speriamo che facciano esperimenti simili una volta che il GPT-5 sarà arrivato.
