Neue Forschungen haben ergeben, dass KI-Erkennungssoftware möglicherweise nicht englische Muttersprachler benachteiligt.
Die Studie dass mehr als die Hälfte der von Menschen verfassten Aufsätze, deren Muttersprache nicht Englisch ist, fälschlicherweise als KI-generiert eingestuft werden. Die Auswirkungen solcher falsch-positiven Ergebnisse sind erheblich, insbesondere für Studenten und Stellenbewerber.
In der Studie wurden sieben weit verbreitete KI-Textdetektoren an Artikeln getestet, die von englischen Nicht-Muttersprachlern verfasst wurden. Die Ergebnisse zeigten eine hohe Falsch-Positiv-Rate, wobei diese Texte fälschlicherweise als KI-generiert eingestuft wurden.
James Zou, Assistenzprofessor für biomedizinische Datenwissenschaft an der Stanford University, leitete das Team, das 91 von englischen Nicht-Muttersprachlern verfasste Aufsätze durch sieben gängige GPT-Detektoren laufen ließ.
Bei diesen Aufsätzen, die für den weltweit anerkannten TOEFL (Test of English as a Foreign Language) geschrieben wurden, wurde mehr als die Hälfte fälschlicherweise als KI-generiert eingestuft. In einem Fall stufte ein Programm sogar 98% der Aufsätze als KI-erzeugt ein.
Im Gegensatz dazu wurden bei der Analyse von Aufsätzen, die von muttersprachlichen Achtklässlern aus den USA verfasst worden waren, über 90% korrekt als von Menschenhand verfasst identifiziert.
KI-Detektoren sind weithin dafür kritisiert worden, dass sie Einzelpersonen mit falsch-positiven Ergebnissen bestrafen, obwohl einige deutlich schlechter sind als andere.
Eines der wichtigsten Ergebnisse der Studie ist, dass KI-Detektoren oft Schwierigkeiten haben, Ausdrücke, die von Nicht-Muttersprachlern verwendet werden, richtig zu interpretieren.
Diese Systeme wurden in erster Linie auf Daten englischer Muttersprachler trainiert, was dazu führt, dass sie bestimmte Sätze oder Strukturen als falsch einstufen, nur weil sie von dem abweichen, was als muttersprachlicher Sprachgebrauch gilt.
Englische Nicht-Muttersprachler sind potenziell diskriminiert
Dies hat weitreichende Folgen. Englische Nicht-Muttersprachler könnten bei der Einreichung von Arbeiten über automatisierte Bewertungsplattformen, die von Bildungseinrichtungen eingesetzt werden, auf Probleme stoßen.
Darüber hinaus könnten diskriminierende Algorithmen Schüler, deren Muttersprache nicht Englisch ist, auf ungerechte Weise benachteiligen und so die soziale Ungleichheit im Klassenzimmer aufrechterhalten.
Die Autoren kommen zu dem Schluss: "Wir raten dringend von der Verwendung von GPT-Detektoren in Bewertungs- oder Bildungsumgebungen ab, insbesondere bei der Bewertung der Arbeit von Nicht-Muttersprachlern."
Aber warum werden KI-Erkennungsalgorithmen durch nicht-muttersprachliche englische Texte ausgebremst?
AI-Detektoren stützen sich auf "Text-Perplexität", ein Maß dafür, wie vorhersehbar ein generatives Sprachmodell das nächste Wort in einem Satz vorhersagen kann. Eine niedrige Perplexität deutet auf eine einfache Vorhersage hin, während eine hohe Perplexität einen weniger vorhersehbaren Satz widerspiegelt. Komplexe Wörter, Phrasen, Gleichnisse, Metaphern und Redewendungen erhöhen die Perplexitätswerte, was bei Autoren, deren Muttersprache nicht Englisch ist, der Fall sein kann.
KIs neigen dazu, eine vorhersehbarere Abfolge von Wörtern auszugeben. Wenn Menschen also gängige Wörter in vertrauten Mustern verwenden, besteht die Gefahr, dass ihre Arbeit mit einem von der KI erstellten Text verwechselt wird.
Dies gilt natürlich nicht nur für Texte, die nicht in der Muttersprache verfasst sind, sondern auch für Texte, die in einem bestimmten Stil oder auf einem bestimmten Leseniveau verfasst sind. Bei Texten, die so gestaltet sind, dass sie gut lesbar sind, besteht beispielsweise die Gefahr, dass sie markiert werden.
Ironischerweise nutzten die Forscher ChatGPT, nachdem sie diese inhärente Verzerrung festgestellt hatten, um die markierten TOEFL-Aufsätze mit einer komplexeren Sprache neu zu schreiben.
Nach erneuter Überprüfung durch die KI-Detektoren wurden alle bearbeiteten Aufsätze als von Menschen geschrieben eingestuft. Dieses Ergebnis unterstreicht eine etwas paradoxe Situation - diese Detektoren könnten ungewollt nicht-muttersprachliche Autoren dazu ermutigen, KI stärker zu nutzen, um der Entdeckung zu entgehen.
Pädagogen verlassen sich nicht nur auf KI-Detektoren, um gegen Plagiate vorzugehen. Sie führen zusätzliche Schreibaufgaben im Klassenzimmer durch, untersuchen die Verwendung von Referenzen und deren Genauigkeit und analysieren Zitate auf ihre Authentizität.
In der Zwischenzeit stellen Bildungseinrichtungen Regeln für die KI-Nutzung und -Verwaltung auf, darunter auch die britische Russell Group, die kürzlich eine gemeinsame Erklärung zu AI.
