I en nyligen genomförd analys har ChatGPT ännu inte visat sig kunna klara av CFA-examen (Chartered Financial Analyst).
En grupp bestående av forskare från JPMorgan Chase & Co. genomförde ett experiment för att se om OpenAI:s GPT-4-modell potentiellt skulle kunna klara de två första nivåerna i CFA-examen. Denna utmanande examen tar vanligtvis människor fyra år att uppnå.
"Baserat på uppskattade godkännandegrader och genomsnittliga självrapporterade poäng drog vi slutsatsen att ChatGPT sannolikt inte skulle kunna klara CFA nivå I och nivå II under alla testade inställningar", beskriver forskarna i deras rapport.
GPT-4 hade dock en bättre chans, och forskarna konstaterade att "GPT-4 skulle ha en hyfsad chans att klara CFA nivå I och II om de uppmanas på lämpligt sätt".
Forskarna, däribland Sameena Shah och Antony Papadimitriou från JPMorgan's AI Research unit, lyfte också fram CFA Institute's pågående arbete med att integrera AI och big data-analys i sina prov sedan 2017.
Chris Wiese, CFA Institute's Education Managing Director, medgav att även om stora språkmodeller (LLM) som GPT-4 kan svara korrekt på vissa tentamensfrågor, kräver vägen till CFA-certifiering också betydande praktisk erfarenhet, referenser, etiska standarder och snart även praktiska färdighetsmoduler.
Nyligen sjönk godkännandegraden för nivå I till 37% i augusti från ett redan lågt genomsnitt på 43% under 2018.
Studien visade att båda AI-modellerna hade större utmaningar med Level II, oavsett vilka prompting-metoder som användes.
De visade dock goda kunskaper inom derivat, alternativa investeringar, företagsfrågor, aktieinvesteringar och etik på nivå I. Deras prestationer var mindre imponerande inom områden som finansiell rapportering och portföljförvaltning.
För nivå II hade ChatGPT svårigheter med alternativa investeringar och räntebärande värdepapper, medan GPT-4 hade större problem med portföljförvaltning och ekonomi.
De flesta av ChatGPT:s misstag var kunskapsbaserade, medan GPT-4:s främst bestod av beräknings- och resonemangsfel, där de senare ibland ledde till felaktiga slutsatser på grund av bristande logik.
Detta följer på en liknande studie nyligen som avslöjade ChatGPT:s begränsningar i redovisningsexamina. Det är ju trots allt en språkmodell.
