I en fersk analyse har ChatGPT ennå ikke vist seg i stand til å bestå CFA-eksamen (Chartered Financial Analyst).
En gruppe bestående av forskere fra JPMorgan Chase & Co. gjennomførte et eksperiment for å se om OpenAIs GPT-4-modell potensielt kunne bestå de to første nivåene av CFA-eksamenen. Denne utfordrende eksamenen tar vanligvis mennesker fire år å gjennomføre.
"Basert på estimerte beståttprosenter og gjennomsnittlige selvrapporterte poengsummer, konkluderte vi med at ChatGPT sannsynligvis ikke ville være i stand til å bestå CFA nivå I og nivå II under alle testomgivelser", skriver forskerne i deres rapport.
GPT-4 hadde imidlertid bedre sjanser, og forskerne uttalte at "GPT-4 ville ha en god sjanse til å bestå CFA nivå I og II hvis de ble bedt om det på riktig måte."
Forskerne, deriblant Sameena Shah og Antony Papadimitriou fra JPMorgans AI Research-enhet, fremhevet også CFA-instituttets pågående arbeid med å integrere AI og stordataanalyse i sine eksamener siden 2017.
Chris Wiese, CFA Institute's administrerende direktør for utdanning, erkjente at selv om store språkmodeller (LLM) som GPT-4 kan svare riktig på visse eksamensspørsmål, krever veien til å bli CFA-sertifisert også betydelig praktisk erfaring, referanser, etiske standarder og, snart, praktiske ferdighetsmoduler.
Nylig sank beståttprosenten for nivå I til 37% i august, fra et allerede lavt gjennomsnitt på 43% i 2018.
Studien viste at begge AI-modellene hadde flere utfordringer med nivå II, uavhengig av hvilke prompting-metoder som ble brukt.
De viste imidlertid gode ferdigheter i derivater, alternative investeringer, selskapsemisjoner, aksjeinvesteringer og etikk på nivå I. Prestasjonene deres var mindre imponerende på områder som finansiell rapportering og porteføljeforvaltning.
På nivå II hadde ChatGPT problemer med alternative investeringer og rentepapirer, mens GPT-4 slet mer med porteføljeforvaltning og økonomi.
De fleste av ChatGPTs feil var kunnskapsbaserte, mens GPT-4s feil hovedsakelig var regne- og resonneringsfeil, der sistnevnte noen ganger førte til feilaktige konklusjoner på grunn av mangelfull logikk.
Dette følger en lignende studie som nylig avslørte ChatGPTs begrensninger i regnskapseksamener. Det er tross alt en språkmodell.
