Eine kürzlich durchgeführte Analyse hat ergeben, dass ChatGPT noch nicht in der Lage ist, die Prüfung zum Chartered Financial Analyst (CFA) zu bestehen.
Eine Gruppe von Forschern von JPMorgan Chase & Co. führte ein Experiment durch, um herauszufinden, ob das GPT-4-Modell von OpenAI möglicherweise die ersten beiden Stufen der CFA-Prüfung bestehen könnte. Für diese anspruchsvolle Prüfung benötigen Menschen normalerweise vier Jahre.
"Basierend auf den geschätzten Erfolgsquoten und den durchschnittlichen selbstberichteten Ergebnissen kamen wir zu dem Schluss, dass ChatGPT wahrscheinlich nicht in der Lage sein würde, die CFA Level I und Level II unter allen getesteten Bedingungen zu bestehen", so die Forscher in ihren Bericht.
GPT-4 hatte jedoch eine bessere Chance, und die Forscher stellten fest: "GPT-4 hätte eine gute Chance, die CFA-Stufen I und II zu bestehen, wenn sie entsprechend aufgefordert werden."
Die Forscher, darunter Sameena Shah und Antony Papadimitriou aus der KI-Forschungsabteilung von JPMorgan, wiesen auch auf die laufenden Bemühungen des CFA Institute hin, KI und Big-Data-Analysen seit 2017 in seine Prüfungen zu integrieren.
Chris Wiese, der Bildungsdirektor des CFA-Instituts, räumte ein, dass großsprachige Modelle (LLMs) wie GPT-4 zwar bestimmte Prüfungsfragen korrekt beantworten können, der Weg zur CFA-Zertifizierung aber auch umfangreiche praktische Erfahrung, Referenzen, ethische Standards und bald auch praktische Kompetenzmodule erfordert.
Kürzlich sank die Bestehensquote für die Stufe I im August auf 37% von einem bereits niedrigen Durchschnitt von 43% im Jahr 2018.
Die Studie ergab, dass beide KI-Modelle unabhängig von den verwendeten Prompting-Methoden mit Level II mehr Probleme hatten.
Sie zeigten jedoch gute Leistungen in den Bereichen Derivate, alternative Anlagen, Unternehmensfragen, Aktienanlagen und Ethik der Stufe I. Weniger beeindruckend waren ihre Leistungen in Bereichen wie Finanzberichterstattung und Portfoliomanagement.
Auf Stufe II hatte ChatGPT Schwierigkeiten mit alternativen Anlagen und festverzinslichen Wertpapieren, während GPT-4 eher mit Portfoliomanagement und wirtschaftlichen Aspekten zu kämpfen hatte.
Die meisten Fehler von ChatGPT waren wissensbasiert, während es sich bei GPT-4 überwiegend um Rechen- und Denkfehler handelte, wobei letztere manchmal aufgrund von Logikfehlern zu falschen Schlussfolgerungen führten.
Dies folgt auf eine ähnliche kürzlich durchgeführte Studie, die ChatGPTs Einschränkungen bei Buchhaltungsprüfungen. Es handelt sich schließlich um ein Sprachmodell.
