Forskare vid University of Berkeley i Kalifornien har utvecklat ett AI-prognossystem som kan förutsäga framtida händelser med samma precision som mänsklig "crowd wisdom".
Eftersom LLM:er inte är specialbyggda för händelseprognoser byggde teamet ett prognossystem ovanpå GPT-4 med hjälp av en ny metod som kallas "retrieval-augmented reasoning".
Denna flerstegsprocess innebar att GPT-4 tränades i att söka efter relevant information, bedöma dess relevans och integrera den i resonemangsprocessen innan den gjorde en förutsägelse.
Så här fungerar det:
- Återvinning: AI-systemet använder GPT-4 för att generera sökfrågor baserade på prognosfrågan och underfrågorna och hämtar en bred uppsättning potentiellt relevanta nyhetsartiklar.
- Utvärdering av relevans: GPT-4 utvärderar relevansen för varje artikel som hämtas och kasserar artiklar med låga poäng för att begränsa informationspoolen.
- Sammanfattning: GPT-4 sammanfattar varje artikel till dess viktigaste punkter och fokuserar på detaljer som är relaterade till prognosfrågan.
- Resonemang: Med hjälp av "scratchpad prompts" analyserar GPT-4 de sammanfattade artiklarna och tar fram en detaljerad prognos med en förklarande motivering. Dessa uppmaningar vägleder modellens tankeprocess och uppmuntrar till ett systematiskt sätt att resonera.
Berkeley-teamet tog sedan systemet ett steg längre med självövervakad finjustering.
De genererade ett stort antal AI-prognoser på tidigare frågor med kända svar och valde ut exempel där AI hade överträffat "wisdom of the crowd" - definierat som de samlade förutsägelserna från mänskliga prognosmakare.
Genom att finjustera GPT-4 på dessa exempel lärde forskarna modellen att efterlikna de resonemangsmönster som skapade de bästa prognoserna.
Resultat
När AI testades på prognosfrågor från juni 2023 och framåt uppnådde den en Brier-poäng på 0,179, jämfört med den mänskliga prognosmakarens poäng på 0,149.
AI:n presterade särskilt bra på frågor med hög mänsklig osäkerhet tidigt i prognosprocessen och när den hade tillgång till tillräckligt många relevanta artiklar om ett visst ämne.
(b) När människor är osäkra på sina förutsägelser (konfidensnivåer mellan 0,3 och 0,7) klarar sig systemet bättre, med en Brier-poäng på 0,199 jämfört med deras 0,246. Men när människor är mycket säkra (förutsägelser under 0,05) gör de bättre ifrån sig än vårt system.
(c) Systemets noggrannhet är högre i början av informationsinsamlingen. Källan är: ArXiv (öppen tillgång).
Författarna skriver i rapporten studie"Såvitt vi vet är detta det första automatiserade systemet med en prognosförmåga som närmar sig den mänskliga publikens nivå, vilket i allmänhet är starkare än enskilda mänskliga prognosmakare."
Det fanns en liten konstighet, eftersom systemet verkade bli sämre med fler artiklar att arbeta med och därmed högre säkerhet i prognosen. Detta kan bero på att modellen "säkrar" sina förutsägelser.
Forskarna beskriver det på följande sätt: "Vi antar att detta beror på vår modells tendens att säkra förutsägelser på grund av dess säkerhetsutbildning."
Konsekvenser
Enligt forskarna kan beslutsfattare, företag och folkhälsomyndigheter alla dra nytta av den här typen av språkdrivna AI-prognoser.
"I framtiden kan politiska beslutsfattare rådfråga AI:erna om vilka åtgärder som mest sannolikt skulle leda till önskade resultat", säger Dan Hendrycks från Center for AI Safety i Kalifornien.
Han föreslår att modeller för att göra förutsägelser skulle kunna hantera kommande faror som AI utgör. "Prognostiserande robotar skulle hjälpa oss att förutse och undvika dessa risker", säger Hendrycks berättade för New Scientist.
Andra försök har gjorts att förutsäga komplexa livshändelser med AI, bland annat en modell som tränats av danska forskare att förutse riskerna för förtida död.
Att utnyttja AI för prediktiva tillämpningar som påverkar människors liv väcker etiska frågor, som att säkerställa att dessa system är transparenta, opartiska och etiskt grundade.
Den nya Berkeley-studien beskriver hur AI kan göra effektiva prognoser, men vi kan inte mäta hur exakt den kommer fram till sina beslut.
Att använda AI för att förutse stora samhälleliga och individuella händelser kan verka som ett dystopiskt koncept, men det är redan en utbredd praxis i många delar av världen.
I flera demokratiska länder, däribland USA, Storbritannien, Brasilien, Australien och Nederländerna, används AI för att polisarbete, övervakning och beslutsfattande om välfärd.
Kan en AI förutspå aspekter av din framtid just nu? Det är verkligen möjligt.
