Studie zeigt, dass ChatGPT in neun von 32 Fächern gleichwertig oder besser ist als die Schüler

Neue Forschungsergebnisse deuten darauf hin, dass ChatGPT Schüler in bestimmten Fächern übertrumpfen kann, indem es Lehrer täuscht und KI-Detektoren umgeht. 

Eine Studie unter der Leitung von Yasir Zaki von der New York University Abu Dhabi ergab, dass die Antworten von ChatGPT in neun von 32 Fächern die Qualität der Antworten von Studenten erreichten oder übertrafen.

Bemerkenswert ist, dass der Chatbot fast doppelt so gut abschnitt wie der Durchschnittsstudent in einem Kurs mit der Bezeichnung Einführung in die öffentliche Politik.

Allerdings gab es auch Schwachstellen in der KI, da ChatGPT bei Aufgaben, die eine "kritische Analyse" erforderten, Schwierigkeiten hatte. Und wir dürfen nicht vergessen, dass die menschlichen Schüler im Allgemeinen das Verfahren dominierten.

Dennoch wird die Kluft zwischen KI-generierter und menschlicher Arbeit immer kleiner, was potenziell dramatische Folgen für den Bildungssektor und die menschlichen Wissenssysteme insgesamt hat

Interessanterweise schnitt ChatGPT bei Aufgaben, die Fähigkeiten oder Kenntnisse in den Bereichen Programmierung und Informatik erforderten, ziemlich schlecht ab, war aber in den Bereichen Sozialforschung, Politik und Technik hervorragend. 

Die 32 Themen umfassten Fächer wie Informatik, Mathematik, Soziologie, Psychologie, Politikwissenschaft und Wirtschaft. Darüber hinaus wurden im Rahmen der Studie Schüler und Lehrkräfte aus fünf Ländern - Brasilien, Indien, Japan, dem Vereinigten Königreich und den Vereinigten Staaten - befragt, um ihre Ansichten über den Einsatz der Technologie im Unterricht zu ermitteln. 

"Diese Prüfer wurden weder über die Quellen dieser Antworten noch über den Zweck der Benotung informiert", sagt Zaki.

"ChatGPT schnitt bei Fragen, die das Abrufen von Informationen verlangten, viel besser ab, aber bei Fragen, die eine kritische Analyse erforderten, schnitt es schlecht ab", sagt Zaki.

Außerdem stellten die Forscher fest, dass KI-Erkennungsdienste mit Erfolgsquoten von 95% nur schlecht zwischen menschlichen und KI-generierten Antworten unterscheiden können.

Die Umfrage, in der die Einstellung von Schülern und Lehrern zu KI in der Bildung untersucht wurde, zeigte eine Polarisierung in der Frage, ob der Einsatz von KI ein Plagiat darstellt oder nicht.  

Thomas Lancaster vom Imperial College London hat sich zu den Auswirkungen der Studie geäußert. Seiner Meinung nach zeigen die Ergebnisse Schwachstellen im derzeitigen Ansatz für Hochschulprüfungen auf. "Wenn [bessere Antworten] [mit ChatGPT] möglich sind, deutet dies auf Mängel im Bewertungskonzept hin.

Wichtigste Ergebnisse

Diese vielschichtige Studie untersuchte die Leistung von ChatGPT und sammelte zusätzliche Informationen über qualitative Meinungen zu dieser Technologie. 

Hier sind die wichtigsten Ergebnisse:

1. Akademische Leistung: Die Leistungen von ChatGPT waren in 9 von 32 Kursen in acht Disziplinen mit denen von Universitätsstudenten vergleichbar oder ihnen überlegen. 
2. Es fehlen Erkennungsalgorithmen: Aktuelle Algorithmen, einschließlich GPTZero, die ChatGPT-generierten Text erkennen sollen, sind weitgehend ineffektiv. Diese Algorithmen klassifizieren nicht nur menschliche Antworten fälschlicherweise als KI-generiert, sondern können auch ChatGPT-generierte Inhalte nicht korrekt als solche identifizieren. 
3. Ansichten von Schülern und Lehrern: Es besteht eine offensichtliche Diskrepanz zwischen Schülern und Pädagogen in Bezug auf die ethischen Implikationen der Nutzung von ChatGPT. Die SchülerInnen beabsichtigen überwiegend, das Tool für Schularbeiten zu nutzen, während PädagogInnen dazu neigen, seine Nutzung als Plagiat zu betrachten. 
4. Globale Perspektiven: Die befragten SchülerInnen und Lehrkräfte aus fünf Ländern (Brasilien, Indien, Japan, Vereinigtes Königreich und USA) waren unterschiedlicher Meinung über die ethische Nutzung von ChatGPT. Während die Schüler in Indien die Nutzung für Hausaufgaben für unethisch halten, halten die Schüler in Brasilien sie für ethisch vertretbar. Dennoch beabsichtigen 94% der Studierenden in beiden Ländern, ChatGPT für akademische Zwecke zu nutzen.

Die Rolle der KI in der Bildung hat sich zu einer lebhaften Debatte entwickelt, wobei die Schüler vielleicht am besten in der Lage sind, die Technologie zu nutzen, während die Lehrkräfte ihre Kenntnisse auffrischen.

Dies hat zu einigen peinlichen Situationen geführt, wie zum Beispiel, als ein Professor der Texas A&M weigerte sich zu markieren seine Klassenarbeiten, da er glaubte, dass sie von einer KI generiert wurden.

Eine Sache ist sicher: KI wird stärker in das Bildungswesen integriert werden, zum Positiven oder zum Negativen.