In un'analisi recente, ChatGPT non ha ancora dimostrato di essere in grado di superare l'esame di analista finanziario (CFA).
Un gruppo di ricercatori di JPMorgan Chase & Co. ha condotto un esperimento per verificare se il modello GPT-4 di OpenAI potesse potenzialmente superare i primi due livelli dell'esame CFA. Questo impegnativo esame richiede di solito agli uomini quattro anni per essere superato.
"Sulla base delle percentuali di superamento stimate e dei punteggi medi auto-riferiti, abbiamo concluso che il ChatGPT probabilmente non sarebbe in grado di superare il CFA di livello I e II in tutti i contesti testati", hanno spiegato i ricercatori in il loro rapporto.
Tuttavia, il GPT-4 ha avuto maggiori possibilità, con i ricercatori che hanno dichiarato: "Il GPT-4 avrebbe una discreta possibilità di superare il CFA di livello I e II se sollecitato in modo appropriato".
I ricercatori, tra cui i membri dell'unità di ricerca sull'AI di JPMorgan Sameena Shah e Antony Papadimitriou, hanno anche evidenziato gli sforzi in corso del CFA Institute per integrare l'AI e l'analisi dei big data nei suoi esami dal 2017.
Chris Wiese, direttore generale per l'istruzione del CFA Institute, ha riconosciuto che mentre i modelli linguistici di grandi dimensioni (LLM) come il GPT-4 possono rispondere correttamente ad alcune domande d'esame, il percorso per ottenere la certificazione CFA richiede anche una notevole esperienza pratica, referenze, standard etici e, presto, moduli di competenze pratiche.
Di recente, il tasso di superamento del livello I è sceso a 37% in agosto da una media già bassa di 43% nel 2018.
Lo studio ha rivelato che entrambi i modelli di IA hanno incontrato maggiori difficoltà con il Livello II, indipendentemente dai metodi di richiesta utilizzati.
Tuttavia, hanno dimostrato competenza nelle sezioni del Livello I dedicate ai derivati, agli investimenti alternativi, alle questioni societarie, agli investimenti azionari e all'etica. I loro risultati sono stati meno impressionanti in aree come il reporting finanziario e la gestione del portafoglio.
Per il Livello II, ChatGPT ha incontrato difficoltà con gli investimenti alternativi e il reddito fisso, mentre GPT-4 ha avuto più difficoltà con la gestione del portafoglio e l'economia.
La maggior parte degli errori di ChatGPT erano basati sulla conoscenza, mentre quelli di GPT-4 erano prevalentemente errori di calcolo e di ragionamento, con questi ultimi che a volte portavano a conclusioni errate a causa di una logica errata.
Questo fa seguito a un recente studio analogo che ha messo in luce il limitazioni negli esami di contabilità. Si tratta di un modello linguistico, dopotutto.
