Dans une analyse récente, ChatGPT n'a pas encore prouvé qu'il était capable de passer l'examen d'analyste financier agréé (CFA).
Un groupe composé de chercheurs de JPMorgan Chase & Co. a mené une expérience pour voir si le modèle GPT-4 d'OpenAI pouvait potentiellement réussir les deux premiers niveaux de l'examen CFA. Cet examen exigeant prend généralement quatre ans à l'homme.
"Sur la base des taux de réussite estimés et des scores moyens auto-déclarés, nous avons conclu que le ChatGPT ne serait probablement pas en mesure de réussir les niveaux I et II de l'AFC dans tous les contextes testés", expliquent les chercheurs dans le document suivant leur rapport.
Cependant, le GPT-4 avait de meilleures chances, les chercheurs déclarant que "le GPT-4 aurait une chance décente de réussir les niveaux I et II de l'AFC s'il était invité de manière appropriée".
Les chercheurs, dont Sameena Shah et Antony Papadimitriou, membres de l'unité AI Research de JPMorgan, ont également souligné les efforts continus du CFA Institute pour intégrer l'IA et l'analyse des big data dans ses examens depuis 2017.
Chris Wiese, directeur général de l'éducation du CFA Institute, a reconnu que si les modèles en langue étendue (LLM) tels que le GPT-4 permettent de répondre correctement à certaines questions d'examen, le chemin vers la certification CFA exige également une expérience pratique substantielle, des références, des normes éthiques et, bientôt, des modules de compétences pratiques.
Récemment, le taux de réussite au niveau I a chuté à 37% en août, contre une moyenne déjà faible de 43% en 2018.
L'étude a révélé que les deux modèles d'IA rencontraient davantage de difficultés avec le niveau II, quelles que soient les méthodes d'incitation utilisées.
Toutefois, ils ont fait preuve de compétence dans les sections du niveau I consacrées aux produits dérivés, aux investissements alternatifs, aux questions d'entreprise, aux investissements en actions et à l'éthique.
Pour le niveau II, ChatGPT a éprouvé des difficultés avec les investissements alternatifs et les revenus fixes, tandis que GPT-4 a eu plus de mal avec la gestion de portefeuille et l'économie.
La plupart des erreurs de ChatGPT étaient basées sur des connaissances, tandis que celles de GPT-4 étaient principalement des erreurs de calcul et de raisonnement, ces dernières conduisant parfois à des conclusions incorrectes en raison d'une logique défectueuse.
Cette étude fait suite à une étude similaire récente qui a mis en évidence le fait que le ChatGPT n'est pas un produit de consommation courante, mais un produit de consommation courante. les limites des examens comptables. Il s'agit en effet d'un modèle linguistique.
