I en nylig analyse har ChatGPT endnu ikke vist sig i stand til at bestå CFA-eksamenen (Chartered Financial Analyst).
En gruppe bestående af forskere fra JPMorgan Chase & Co. udførte et eksperiment for at se, om OpenAI's GPT-4-model potentielt kunne bestå de første to niveauer af CFA-eksamenen. Denne udfordrende eksamen tager normalt mennesker fire år at opnå.
"Baseret på estimerede beståelsesprocenter og gennemsnitlige selvrapporterede scores konkluderede vi, at ChatGPT sandsynligvis ikke ville være i stand til at bestå CFA Level I og Level II under alle testede indstillinger," beskriver forskerne i deres rapport.
Men GPT-4 havde en bedre chance, og forskerne sagde: "GPT-4 ville have en god chance for at bestå CFA Level I og II, hvis de blev bedt om det på den rigtige måde."
Forskerne, herunder Sameena Shah og Antony Papadimitriou fra JPMorgan's AI Research unit, fremhævede også CFA Institute's igangværende indsats for at integrere AI og big data-analyse i sine eksamener siden 2017.
Chris Wiese, CFA Institutes uddannelseschef, erkendte, at mens store sprogmodeller (LLM'er) som GPT-4 kan besvare visse eksamensspørgsmål korrekt, kræver vejen til at blive CFA-certificeret også betydelig praktisk erfaring, referencer, etiske standarder og snart praktiske færdighedsmoduler.
For nylig faldt beståelsesprocenten for niveau I til 37% i august fra et allerede lavt gennemsnit på 43% i 2018.
Undersøgelsen viste, at begge AI-modeller stod over for flere udfordringer med niveau II, uanset hvilke prompting-metoder der blev brugt.
De viste dog færdigheder inden for derivater, alternative investeringer, virksomhedsspørgsmål, aktieinvesteringer og etik på niveau I. Deres præstationer var mindre imponerende inden for områder som finansiel rapportering og porteføljestyring.
På niveau II havde ChatGPT problemer med alternative investeringer og fast indkomst, mens GPT-4 kæmpede mere med porteføljestyring og økonomi.
De fleste af ChatGPT's fejl var vidensbaserede, mens GPT-4's overvejende var beregnings- og ræsonneringsfejl, hvor sidstnævnte nogle gange førte til forkerte konklusioner på grund af mangelfuld logik.
Dette følger en lignende nylig undersøgelse, der afslørede ChatGPT's Begrænsninger i regnskabseksamener. Det er trods alt en sprogmodel.
