Zou een gegeneraliseerd AI-model zoals GPT-4 betere financiële voorspellingen kunnen doen dan deskundige menselijke analisten? Onderzoekers van de Universiteit van Chicago onderzochten deze vraag en kwamen met verrassende resultaten.
De angst voor de vervanging van banen door AI richt zich vooral op lager geschoolde functies, maar moeten experts zoals beleggings- en financieel analisten hun carrière misschien ook heroverwegen?
Het papier die de onderzoekers publiceerden, staat dat GPT-4 significant beter is dan menselijke experts in het analyseren van financiële gegevens van een bedrijf en het voorspellen van de toekomstige winst.
Hun experiment bestond uit het doorgeven van een balans en winst- en verliesrekening in een gestandaardiseerde vorm aan GPT-4 Turbo en het model te vragen deze te analyseren.
Het model werd vervolgens gevraagd of de economische prestaties van het bedrijf duurzaam waren en of de winst in de volgende periode zou groeien of dalen.
Door gebruik te maken van Chain-of-Thought (CoT) prompting coachten ze het model om een financieel analist na te bootsen in de manier waarop het de gegevens analyseerde.
De onderzoekers wilden uitsluitend het vermogen van GPT-4 testen om financiële cijfers te analyseren, dus ze gaven het geen andere gegevens zoals de naam van het bedrijf, managementbesprekingen of andere bedrijfsinformatie.
De onderzoekers lieten GPT-4 ook niet weten uit welk jaar de financiële gegevens kwamen. Deze inspanningen voorkwamen dat GPT-4 zijn trainingsgegevens kon gebruiken om conclusies te trekken over het bedrijf of de economische omstandigheden op het moment dat de financiële gegevens werden verzameld.
Resultaten
GPT-4 behaalde een voorspellingsnauwkeurigheid van 60%, wat aanzienlijk beter was dan de nauwkeurigheid van 53% die de menselijke analisten behaalden op dezelfde steekproef van bedrijfscijfers.
Menselijke analisten analyseren meestal de cijfers van een bedrijf en combineren die analyse met hun sector- en privékennis over het bedrijf voordat ze hun voorspellingen uitbrengen.
Het lijkt erop dat GPT-4 beter presteerde dan de mensen, zelfs met het nadeel dat het alleen de cijfers heeft zonder andere context.
Maar het zou wel eens deze onpartijdige, onbevooroordeelde analyse door GPT-4 kunnen zijn die het een voordeel geeft ten opzichte van mensen, die vaak beïnvloed worden door sentiment of emotie om bevooroordeelde voorspellingen te doen.
Financiële analisten gebruiken vaak gespecialiseerde machine learning (ML) modellen om de cijfers te kraken en voorspellingen voor hen te doen. De onderzoekers ontdekten dat GPT-4, een gegeneraliseerd model, gelijk of iets beter presteerde dan de state-of-the-art gespecialiseerde ML-modellen.
De onderzoekers concludeerden dat, hoewel ze niet zeker weten hoe GPT-4 het doet, zijn vermogen om menselijke specialisten te overtreffen het "potentieel voor LLM's heeft om financiële informatieverwerking te democratiseren".
Zal AI analisten op Wall Street vervangen? Het zou wel eens eerder kunnen gebeuren dan je denkt, want mensen hebben het niet geweldig gedaan.
Een onderzoek uit 2020 vergeleek actief beheerde beleggingsfondsen met de prestaties van de S&P 500 benchmark index.
Uit dat onderzoek bleek dat als je in de S&P 500 zou beleggen, je betere resultaten zou behalen dan 89% van de fondsbeheerders. Met andere woorden, slechts 11% van de financiële analisten bij die beleggingsfirma's versloeg de index in 2020.
Nu GPT-4 het aanzienlijk beter lijkt te doen dan menselijke analisten, vraag je misschien al snel aan ChatGPT of je moet kopen of verkopen, in plaats van aan je fondsbeheerder.
