ChatGPT hat in letzter Zeit seine multidisziplinäre Leistungsfähigkeit unter Beweis gestellt, aber die Mathematikkenntnisse bleiben seine Achillesferse.
Das GPT-4-Modell hat die Prüfungen an den medizinischen Fakultäten und die Anwaltsprüfung an den juristischen Fakultäten bestanden und sogar einen MBA-Test der Wharton School der Universität von Pennsylvania. Die Leistung bei der Anwaltsprüfung (einer juristischen Prüfung in den USA) erreichte das 90.
Eine große Studie fand heraus, dass ChatGPT bei neun von 32 Probanden den Menschen schlägt. Bewundernswert, aber keineswegs weltmeisterlich.
A aktuelle Studie unter der Leitung von David Wood, Professor für Rechnungswesen an der Brigham Young University, untersuchten die Fähigkeiten des Modells auf dem Gebiet der Rechnungslegung und stellten einen eklatanten Leistungsmangel fest.
Für viele scheint dies kontraintuitiv zu sein. Ist KI - ein mathematisches System - nicht besonders gut in mathematischen Problemen?
Derzeit ist dies nicht der Fall. Zahlreiche Nutzer haben berichtet, dass große Sprachmodelle (LLMs) mit grundlegenden mathematischen Funktionen Schwierigkeiten haben. Auch Logikprobleme sind problematisch - bei Denksportaufgaben kann ChatGPT leicht überfordert sein, da das Modell die richtige Antwort nicht systematisch ermitteln kann.
Professor Wood wählte einen einzigartigen Ansatz für die Studie, indem er Forscher in den sozialen Medien kontaktierte, um sie zur Teilnahme aufzufordern. Die Resonanz war überwältigend: 327 Koautoren aus 186 Bildungseinrichtungen in 14 Ländern nahmen teil. Sie alle sind als Autoren der Studie aufgeführt.
Auf diese Weise entstanden über 27.000 Prüfungsfragen aus verschiedenen Bereichen und Schwierigkeitsgraden, die an ChatGPT gestellt wurden.
Trotz der Vielfalt der Fragetypen, die Themen von der Finanzbuchhaltung über die Wirtschaftsprüfung und die Betriebswirtschaftslehre bis hin zur Steuerlehre abdeckten, waren die Ergebnisse unmissverständlich. ChatGPT erzielte 47,4% - deutlich weniger als die durchschnittliche Punktzahl von 76,7%, die von menschlichen Studenten erreicht wurde.
Die KI zeigte eine gewisse Kompetenz bei der Rechnungsprüfung, litt aber bei der Bewältigung von Herausforderungen in den Bereichen Steuern, Finanzen und Unternehmensführung.
Um ihre mangelnden mathematischen Fähigkeiten zu bekämpfen, LLMs wie Google Bard mathematische Fragen in ausführbarem Code abbilden und diesen numerisch statt in Sprache verarbeiten, aber auch das ist nicht ganz zuverlässig.
Als diese Technologie auf den Markt kam, waren alle besorgt, dass die Schüler sie nun zum Schummeln nutzen könnten", so Professor Wood.
"Aber Möglichkeiten zum Schummeln gab es schon immer. Wir versuchen also, uns darauf zu konzentrieren, was wir mit dieser Technologie jetzt tun können, was wir vorher nicht tun konnten, um den Lehrprozess für die Lehrkräfte und den Lernprozess für die Studierenden zu verbessern. Das Ausprobieren war augenöffnend."
Nehmen Sie also lieber einen Taschenrechner zur Hand, wenn Sie das nächste Mal Ihre Finanzen zusammenrechnen oder die zu zahlenden Steuern berechnen wollen, als sich auf ChatGPT zu verlassen.
