Numa análise recente, ChatGPT ainda não provou ser capaz de passar no exame de analista financeiro certificado (CFA).
Um grupo constituído por investigadores da JPMorgan Chase & Co. realizou uma experiência para verificar se o modelo GPT-4 da OpenAI poderia passar os dois primeiros níveis do exame CFA. Este exame exigente leva normalmente quatro anos a ser realizado por humanos.
"Com base nas taxas de aprovação estimadas e nas pontuações médias auto-relatadas, concluímos que o ChatGPT provavelmente não seria capaz de passar no CFA Nível I e Nível II em todos os contextos testados", detalham os investigadores em o seu relatório.
No entanto, o GPT-4 tinha mais hipóteses, com os investigadores a afirmarem que "o GPT-4 teria uma boa hipótese de passar nos níveis I e II do CFA se fosse solicitado de forma adequada".
Os investigadores, incluindo Sameena Shah e Antony Papadimitriou, membros da unidade de investigação de IA do JPMorgan, também destacaram os esforços contínuos do CFA Institute para integrar a IA e a análise de grandes volumes de dados nos seus exames desde 2017.
Chris Wiese, diretor-geral de educação do CFA Institute, reconheceu que, embora os modelos de grande linguagem (LLM), como o GPT-4, possam responder corretamente a certas perguntas do exame, o caminho para obter a certificação CFA exige também uma experiência prática substancial, referências, normas éticas e, em breve, módulos de competências práticas.
Recentemente, a taxa de aprovação para o Nível I desceu para 37% em agosto, contra uma média já baixa de 43% em 2018.
O estudo revelou que ambos os modelos de IA enfrentaram mais desafios com o Nível II, independentemente dos métodos de incitação utilizados.
No entanto, mostraram proficiência nas secções de derivados, investimentos alternativos, questões empresariais, investimentos em acções e ética do Nível I. O seu desempenho foi menos impressionante em áreas como a informação financeira e a gestão de carteiras.
Para o Nível II, o ChatGPT teve dificuldades com investimentos alternativos e rendimento fixo, enquanto o GPT-4 teve mais dificuldades com gestão de carteiras e economia.
A maior parte dos erros do ChatGPT baseavam-se no conhecimento, enquanto os do GPT-4 eram predominantemente erros de cálculo e de raciocínio, sendo que estes últimos conduziam por vezes a conclusões incorrectas devido a falhas de lógica.
Isto vem no seguimento de um estudo recente semelhante que expôs a limitações nos exames contabilísticos. Afinal, trata-se de um modelo linguístico.
