Kan en generaliseret AI-model som GPT-4 komme med bedre økonomiske forudsigelser end menneskelige ekspertanalytikere? Forskere fra University of Chicago undersøgte dette spørgsmål og kom frem til overraskende resultater.
Frygten for, at AI skal erstatte job, har hovedsageligt drejet sig om mindre kvalificerede jobfunktioner, men måske skal eksperter som investerings- og finansanalytikere også genoverveje deres karrierer?
Avisen Forskerne har offentliggjort, at GPT-4 er betydeligt bedre end menneskelige eksperter til at analysere en virksomheds finansielle data og forudsige dens fremtidige indtjening.
Deres eksperiment gik ud på at sende en balance og en resultatopgørelse i en standardiseret form til GPT-4 Turbo og bede modellen om at analysere dem.
Modellen blev derefter spurgt, om virksomhedens økonomiske resultater var bæredygtige, og om dens indtjening ville vokse eller falde i den følgende periode.
Ved at bruge Chain-of-Thought (CoT) prompting coachede de modellen til at efterligne en finansanalytiker i den måde, den analyserede dataene på.
Forskerne ønskede udelukkende at teste GPT-4's evne til at analysere finansielle tal, så de gav den ikke andre data som virksomhedens navn, ledelsesdiskussioner eller andre virksomhedsoplysninger.
Forskerne lod heller ikke GPT-4 vide, hvilket år de finansielle data stammede fra. Disse bestræbelser forhindrede GPT-4 i at bruge sine træningsdata til at drage konklusioner om virksomheden eller de økonomiske forhold, da regnskaberne blev udarbejdet.
Resultater
GPT-4 opnåede en forudsigelsesnøjagtighed på 60%, hvilket var betydeligt bedre end den nøjagtighed på 53%, som de menneskelige analytikere opnåede med det samme udvalg af virksomhedstal.
Menneskelige analytikere analyserer normalt en virksomheds tal og kombinerer denne analyse med deres branche og private viden om virksomheden, før de udsender deres prognoser.
Det ser ud til, at GPT-4 klarede sig bedre end menneskerne, selv med den ulempe, at vi kun havde tallene uden anden kontekst.
Men det er måske denne saglige, objektive analyse fra GPT-4, der giver den en fordel i forhold til mennesker, som ofte påvirkes af følelser og kommer med forudindtagede forudsigelser.
Finansanalytikere bruger ofte specialiserede maskinlæringsmodeller (ML) til at regne på tallene og komme med forudsigelser for dem. Forskerne fandt ud af, at GPT-4, en generaliseret model, klarede sig på niveau med eller lidt bedre end de avancerede specialiserede ML-modeller.
Forskerne konkluderede, at selv om de ikke er sikre på, hvordan GPT-4 gør det, har dens evne til at udkonkurrere menneskelige specialister "potentialet til, at LLM'er kan demokratisere behandlingen af finansiel information."
Vil AI erstatte Wall Street-analytikere? Det kan ske hurtigere, end du tror, for mennesker har ikke gjort et godt stykke arbejde.
En undersøgelse fra 2020 sammenlignede aktivt forvaltede investeringsfonde med udviklingen i S&P 500-benchmarkindekset.
Undersøgelsen viste, at hvis du investerede i S&P 500, ville du have opnået bedre resultater end 89% af fondsforvalterne. Med andre ord var det kun 11% af finansanalytikerne i disse investeringsfirmaer, der slog indekset i 2020.
Da GPT-4 ser ud til at klare sig betydeligt bedre end menneskelige analytikere, kan du snart spørge ChatGPT, om du skal købe eller sælge, i stedet for din fondsforvalter.
