Forskere ved University of Berkeley i California har utviklet et AI-prognosesystem som kan forutsi fremtidige hendelser med samme nøyaktighet som menneskelig "crowd wisdom".
Ettersom LLM-er ikke er spesialbygd for hendelsesvarsling, bygget teamet et varslingssystem på toppen av GPT-4 ved hjelp av en ny tilnærming som kalles "retrieval-augmented reasoning".
Denne flerstegsprosessen innebar at GPT-4 ble lært opp til å søke etter relevant informasjon, vurdere relevansen av den og integrere den i resonneringsprosessen før den kom med en prediksjon.
Slik fungerer det:
- Gjenfinning: AI-systemet bruker GPT-4 til å generere søk basert på prognosespørsmålet og underspørsmålene, og henter frem et bredt sett med potensielt relevante nyhetsartikler.
- Evaluering av relevans: GPT-4 evaluerer relevansen av hver enkelt artikkel som hentes, og forkaster artikler med lav poengsum for å begrense informasjonsutvalget.
- Oppsummering: GPT-4 destillerer hver artikkel ned til de viktigste punktene, med fokus på detaljer knyttet til prognosespørsmålet.
- Begrunnelse: Ved hjelp av "kladdeboksprompter" analyserer GPT-4 de oppsummerte artiklene og produserer en detaljert prognose med en forklarende begrunnelse. Disse instruksjonene styrer modellens tankeprosess og oppmuntrer til en systematisk tilnærming til resonnementet.
Berkeley-teamet tok deretter systemet et skritt videre med selvveiledet finjustering.
De genererte et stort antall AI-prognoser på tidligere spørsmål med kjente svar, og valgte ut eksempler der AI-en hadde gjort det bedre enn "wisdom of the crowd" - definert som de samlede spådommene fra menneskelige prognosemakere.
Ved å finjustere GPT-4 på disse eksemplene lærte forskerne modellen å etterligne de resonneringsmønstrene som skapte de beste prognosene.
Resultater
Da AI-en ble testet på prognosespørsmål fra juni 2023 og fremover, oppnådde den en Brier-score på 0,179, sammenlignet med den menneskelige prognosemakerens score på 0,149.
Den kunstige intelligensen presterte spesielt godt på spørsmål med høy menneskelig usikkerhet tidlig i prognoseprosessen, og når den hadde tilgang til tilstrekkelig mange relevante artikler om et bestemt tema.
(b) Når folk er usikre på spådommene sine (konfidensnivåer mellom 0,3 og 0,7), gjør systemet det bedre, med en Brier-score på 0,199 sammenlignet med deres 0,246. Men når folk er veldig sikre (spådommer under 0,05), gjør de det bedre enn vårt system.
(c) Systemets nøyaktighet er høyere i begynnelsen av informasjonsinnhentingen. Kilde: Kilde: ArXiv (åpen tilgang).
Forfatterne skriver i artikkelen studie"Så vidt vi vet, er dette det første automatiserte systemet med prognosekapasitet som nærmer seg det menneskelige publikumsnivået, som generelt er sterkere enn individuelle menneskelige prognosemakere."
Det var en liten merkverdighet, ettersom systemet så ut til å bli dårligere med flere artikler å jobbe ut fra og dermed høyere sikkerhet om prognosen. Dette kan skyldes at modellen "sikrer" spådommene sine.
Forskerne beskriver det på følgende måte: "Vi antar at dette skyldes modellens tendens til å sikre spådommer på grunn av sikkerhetstreningen."
Konsekvenser
Ifølge forskerne kan både beslutningstakere, bedrifter og offentlige helsemyndigheter dra nytte av denne formen for språkdrevet AI-prognostisering.
"I fremtiden kan politiske beslutningstakere rådføre seg med AI-ene om hvilke handlinger som mest sannsynlig vil føre til ønskede resultater", sier Dan Hendrycks fra Center for AI Safety i California.
Han foreslår at prediksjonsmodeller kan brukes til å håndtere kommende farer som AI utgjør. "Prognoseroboter vil hjelpe oss med å forutse og unngå disse risikoene", sier Hendrycks fortalte New Scientist.
Det er gjort andre forsøk på å forutsi komplekse livshendelser med kunstig intelligens, blant annet en modell som danske forskere har trent opp til å forutsi risikoen for tidlig død.
Å utnytte kunstig intelligens til prediktive anvendelser som påvirker menneskers liv, reiser etiske spørsmål, som å sikre at disse systemene er transparente, objektive og etisk funderte.
Denne nye Berkeley-studien skisserer hvordan AI kan lage effektive prognoser, men vi kan ikke måle hvor presist den kommer frem til beslutningene sine.
Bruken av kunstig intelligens til å forutsi store samfunnsmessige og individuelle hendelser kan virke som et dystopisk konsept, men det er allerede en utbredt praksis i mange deler av verden.
I flere demokratiske land, deriblant USA, Storbritannia, Brasil, Australia og Nederland, brukes kunstig intelligens til politiarbeid, overvåking og velferdspolitisk beslutningstaking.
Kan en kunstig intelligens forutsi aspekter av fremtiden din akkurat nå? Det er absolutt mulig.
