Forskere ved University of Berkeley i Californien har udviklet et AI-prognosesystem, der kan forudsige fremtidige begivenheder med samme nøjagtighed som menneskelig "crowd wisdom".
Da LLM'er ikke er specialbygget til at forudsige begivenheder, byggede teamet et forudsigelsessystem oven på GPT-4 ved hjælp af en ny tilgang kaldet retrieval-augmented reasoning.
Denne flertrinsproces involverede træning af GPT-4 i at søge efter relevant information, vurdere dens relevans og integrere den i sin ræsonnementsproces, før den kom med en forudsigelse.
Sådan her fungerer det:
- Hentning: AI-systemet bruger GPT-4 til at generere søgeforespørgsler baseret på prognosespørgsmålet og underspørgsmålene og henter et bredt sæt af potentielt relevante nyhedsartikler.
- Evaluering af relevans: GPT-4 evaluerer relevansen af hver enkelt artikel, der hentes, og kasserer artikler med lav score for at indsnævre informationspuljen.
- Sammenfatning: GPT-4 destillerer hver artikel ned til dens nøglepunkter og fokuserer på detaljer, der er relateret til prognosespørgsmålet.
- Ræsonnement: Ved hjælp af "scratchpad prompts" analyserer GPT-4 de sammenfattede artikler og udarbejder en detaljeret prognose med en forklarende begrundelse. Disse anvisninger styrer modellens tankeproces og tilskynder til en systematisk tilgang til ræsonnement.
Berkeley-teamet tog derefter systemet et skridt videre med selvovervåget finjustering.
De genererede et stort antal AI-prognoser på tidligere spørgsmål med kendte svar og udvalgte eksempler, hvor AI'en havde overgået "wisdom of the crowd" - defineret som de samlede forudsigelser fra menneskelige prognosemagere.
Ved at finjustere GPT-4 på disse eksempler lærte forskerne modellen at efterligne de tankemønstre, der skabte de bedste prognoser.
Resultater
Da AI'en blev testet på prognosespørgsmål fra juni 2023 og fremefter, opnåede den en Brier-score på 0,179 sammenlignet med den menneskelige prognosescore på 0,149.
AI'en klarede sig særligt godt på spørgsmål med stor menneskelig usikkerhed tidligt i prognoseprocessen, og når den havde adgang til tilstrækkeligt med relevante artikler om et bestemt emne.
(b) Når folk er usikre på deres forudsigelser (tillidsniveauer mellem 0,3 og 0,7), klarer systemet sig bedre med en Brier-score på 0,199 sammenlignet med deres 0,246. Men når folk er meget sikre (forudsigelser under 0,05), klarer de sig bedre end vores system.
(c) Systemets nøjagtighed er højere i begyndelsen af informationsindsamlingen. Kilde: ArXiv (åben adgang).
Forfatterne skriver i undersøgelse"Så vidt vi ved, er dette det første automatiserede system med en forudsigelsesevne, der nærmer sig det menneskelige mængdeniveau, som generelt er stærkere end individuelle menneskelige forudsigere."
Der var en lille finurlighed, da systemet så ud til at blive dårligere med flere artikler at arbejde ud fra og dermed større sikkerhed for prognosen. Det kan skyldes, at modellen "afdækker" sine forudsigelser.
Forskerne beskriver det på følgende måde: "Vi antager, at dette skyldes vores models tendens til at afdække forudsigelser på grund af dens sikkerhedstræning."
Konsekvenser
Ifølge forskerne kan beslutningstagere, virksomheder og embedsmænd i sundhedsvæsenet alle få gavn af denne form for sprogdrevet AI-prognose.
"I fremtiden kan politiske beslutningstagere rådføre sig med AI'erne om, hvilke handlinger der mest sandsynligt vil føre til de ønskede resultater", siger Dan Hendrycks fra Center for AI Safety i Californien.
Han foreslår, at forudsigelsesmodeller kan tackle kommende farer, som AI udgør. "Forudsigende bots ville hjælpe os med at forudse og undgå disse risici," siger Hendrycks. fortalte New Scientist.
Der er gjort andre forsøg på at forudsige komplekse livsbegivenheder med kunstig intelligens, herunder en model, der er trænet af danske forskere til at forudsige risikoen for for tidlig død.
Udnyttelse af AI til forudsigelige applikationer, der påvirker menneskers liv, rejser etiske spørgsmål, som f.eks. at sikre, at disse systemer er gennemsigtige, upartiske og etisk funderede.
Denne nye Berkeley-undersøgelse skitserer, hvordan AI kan lave effektive prognoser, men vi kan ikke måle, hvor præcist den når frem til sine beslutninger.
Brugen af AI til at forudsige store samfundsmæssige og individuelle begivenheder kan virke som et dystopisk koncept, men det er allerede en udbredt praksis i mange dele af verden.
I flere demokratiske lande, herunder USA, Storbritannien, Brasilien, Australien og Holland, bruges AI til politiarbejde, overvågning og beslutningstagning om velfærd.
Kan en AI forudsige aspekter af din fremtid lige nu? Det er bestemt muligt.
