Согласно недавнему анализу, ChatGPT еще не доказал, что способен сдать экзамен на звание дипломированного финансового аналитика (CFA).
Группа исследователей из JPMorgan Chase & Co. провела эксперимент, чтобы проверить, сможет ли модель OpenAI GPT-4 сдать первые два уровня экзамена CFA. Обычно на этот сложный экзамен у людей уходит четыре года.
"На основании предполагаемых показателей сдачи экзамена и средних самооценки мы пришли к выводу, что ChatGPT, скорее всего, не сможет сдать экзамен CFA I и II уровня при любых условиях тестирования", - сообщают исследователи в своем исследовании. их доклад.
Однако у GPT-4 шансы были выше: исследователи заявили, что "GPT-4 имеет приличные шансы пройти CFA I и II уровня, если его соответствующим образом проинструктировать".
Исследователи, среди которых были сотрудники подразделения JPMorgan по изучению искусственного интеллекта Самина Шах и Антони Пападимитриу, также отметили усилия Института CFA по внедрению искусственного интеллекта и анализа больших данных в экзамены, предпринимаемые с 2017 года.
Крис Визе, управляющий директор по образованию Института CFA, признал, что, хотя такие крупноязычные модели (LLM), как GPT-4, позволяют правильно ответить на некоторые экзаменационные вопросы, путь к сертификации CFA также требует значительного практического опыта, рекомендаций, соблюдения этических норм и, в скором времени, модулей практических навыков.
В последнее время уровень сдачи экзаменов I уровня снизился до 37% в августе с и без того низкого среднего показателя в 43% в 2018 году.
Исследование показало, что обе модели ИИ столкнулись с большими трудностями на уровне II, независимо от используемых методов подсказки.
Тем не менее, они продемонстрировали мастерство в разделах по деривативам, альтернативным инвестициям, корпоративным вопросам, инвестициям в акции и этике на уровне I. Их результаты были менее впечатляющими в таких областях, как финансовая отчетность и управление портфелем.
На уровне II ChatGPT испытывал трудности с альтернативными инвестициями и фиксированным доходом, а GPT-4 - с управлением портфелем и экономикой.
Большинство ошибок ChatGPT были основаны на знаниях, в то время как у GPT-4 преобладали ошибки в расчетах и рассуждениях, причем последние иногда приводили к неверным выводам из-за несовершенной логики.
Это последовало за аналогичным недавним исследованием, которое показало, что ChatGPT ограничения при сдаче экзаменов по бухгалтерскому учету. В конце концов, это языковая модель.
