I ricercatori dell'Università di Berkeley, in California, hanno sviluppato un sistema di previsione AI in grado di prevedere gli eventi futuri con un'accuratezza simile a quella della saggezza della folla umana.
Poiché gli LLM non sono stati creati appositamente per la previsione degli eventi, il team ha costruito un sistema di previsione sulla base del GPT-4, utilizzando un approccio innovativo chiamato retrieval-augmented reasoning.
Questo processo a più fasi ha comportato l'addestramento del GPT-4 a cercare informazioni pertinenti, valutarne la rilevanza e integrarle nel suo processo di ragionamento prima di fare una previsione.
Ecco come funziona:
- Recupero: Il sistema di intelligenza artificiale utilizza il GPT-4 per generare query di ricerca basate sulla domanda di previsione e sulle sotto-domande, recuperando un'ampia serie di articoli di notizie potenzialmente rilevanti.
- Valutazione della rilevanza: GPT-4 valuta la rilevanza di ogni articolo recuperato, scartando gli articoli a basso punteggio per restringere il bacino di informazioni.
- Riassunto: GPT-4 riduce ogni articolo ai suoi punti chiave, concentrandosi sui dettagli relativi alla domanda di previsione.
- Ragionamento: Utilizzando i "prompt di scratchpad", il GPT-4 analizza gli articoli riassunti e produce una previsione dettagliata con una motivazione esplicativa. Questi suggerimenti guidano il processo di pensiero del modello, incoraggiando un approccio sistematico al ragionamento.
Il team di Berkeley ha poi fatto un ulteriore passo avanti con la messa a punto auto-supervisionata del sistema.
Hanno generato un gran numero di previsioni dell'IA su domande passate con risposte note e hanno selezionato gli esempi in cui l'IA aveva superato la "saggezza della folla", definita come le previsioni aggregate dei previsori umani.
Mettendo a punto il GPT-4 su questi esempi, i ricercatori hanno insegnato al modello a emulare i modelli di ragionamento che hanno creato le previsioni migliori.
Risultati
Quando è stata testata su domande di previsione da giugno 2023 in poi, l'IA ha ottenuto un punteggio Brier di 0,179, rispetto al punteggio di 0,149 del previsore umano.
L'IA si è comportata particolarmente bene su domande con un'elevata incertezza umana nelle prime fasi del processo di previsione e quando ha avuto accesso a un numero sufficiente di articoli rilevanti su un determinato argomento.
(b) Quando le persone non sono sicure delle loro previsioni (livelli di confidenza tra 0,3 e 0,7), il sistema fa meglio, con un punteggio Brier di 0,199 rispetto a quello di 0,246. Tuttavia, quando le persone sono molto sicure (previsioni inferiori a 0,05), fanno meglio del nostro sistema.
(c) L'accuratezza del sistema è maggiore all'inizio della raccolta delle informazioni. Fonte: ArXiv (accesso libero).
Gli autori scrivono nel studioPer quanto ne sappiamo, questo è il primo sistema automatizzato con una capacità di previsione che si avvicina al livello della folla umana, che in genere è più forte dei singoli previsori umani".
C'era una piccola stranezza: il sistema sembrava peggiorare con un maggior numero di articoli su cui lavorare e, quindi, con una maggiore certezza delle previsioni. Questo potrebbe essere dovuto al fatto che il modello "copre" le sue previsioni.
I ricercatori lo descrivono come segue: "Ipotizziamo che ciò derivi dalla tendenza del nostro modello a coprire le previsioni grazie alla sua formazione in materia di sicurezza".
Implicazioni
Secondo i ricercatori, i responsabili politici, le imprese e i funzionari della sanità pubblica potrebbero trarre vantaggio da questa forma di previsione dell'intelligenza artificiale basata sul linguaggio.
"In futuro, i responsabili delle decisioni politiche potrebbero consultare le IA per sapere quali azioni porterebbero più facilmente ai risultati desiderati", afferma Dan Hendrycks del Center for AI Safety in California.
Propone che i modelli di previsione possano affrontare i rischi futuri posti dall'intelligenza artificiale. "I bot di previsione ci aiuterebbero ad anticipare ed evitare questi rischi", spiega Hendrycks. ha dichiarato al New Scientist.
Sono stati fatti altri tentativi di prevedere eventi di vita complessi con l'IA, tra cui un modello addestrato da ricercatori danesi per prevedere i rischi di morte prematura.
Sfruttare l'IA per applicazioni predittive che influiscono sulla vita delle persone pone questioni etiche, come garantire che questi sistemi siano trasparenti, imparziali ed eticamente fondati.
Questo nuovo studio di Berkeley illustra come l'IA sia in grado di fare previsioni efficaci, ma non siamo in grado di valutare con quanta precisione arrivi alle sue decisioni.
L'uso dell'intelligenza artificiale per prevedere i principali eventi sociali e individuali può sembrare un concetto distopico, ma è già una pratica diffusa in molte parti del mondo.
In diversi paesi democratici, tra cui Stati Uniti, Regno Unito, Brasile, Australia e Paesi Bassi, l'IA viene utilizzata per polizia, sorveglianza e processo decisionale in materia di welfare.
Un'intelligenza artificiale potrebbe prevedere aspetti del vostro futuro in questo momento? È certamente possibile.
