Ein neues Modell des maschinellen Lernens übertrifft AI-Texterkennungsmodelle für Veröffentlichungen im Bereich der Chemie.
Die Studie, veröffentlicht in Zellberichte Physikalische Wissenschaftbeschreibt einen KI-Textklassifikator, der die Leistung von zwei anderen bekannten KI-Erkennungssystemen, darunter ZeroGPT, übertrifft.
Das Modell prüft 20 stilistische Merkmale des Schreibens, wie z. B. die Variation der Satzlänge und die Verwendung bestimmter Wörter und Satzzeichen, um zu beurteilen, ob ein Text von einem Akademiker oder von ChatGPT verfasst wurde.
Die Forscher trainierten das Modell anhand der Einleitungen von 100 veröffentlichten Artikeln aus zehn Chemiezeitschriften der American Chemical Society (ACS). Anschließend forderten die Forscher ChatGPT-3.5 auf, 200 Einleitungen in einem Stil zu verfassen, der mit den ACS-Zeitschriften übereinstimmt, und lieferten für die Hälfte die Titel und für die andere Hälfte die Zusammenfassungen.
Bei der Auswertung identifizierte der Detektor 100% der von ChatGPT verfassten Einführungen anhand der Titel einwandfrei. Bei der Analyse von Einleitungen, die aus Zusammenfassungen generiert wurden, sank die Genauigkeit leicht auf 98%.
Die Leistung des Detektors war auch bei Texten aus dem GPT-4-Modell konsistent. Es wurde mit ZeroGPT und einem Textklassifikationstool von OpenAI verglichen, die beide eine deutlich geringere Genauigkeit aufwiesen.
Die Mitautorin der Studie, Heather Desaire, Chemikerin an der Universität von Kansas in Lawrence, betonte den einzigartigen Fokus ihres Tools: "Der Großteil der Textanalyse will einen wirklich allgemeinen Detektor, der für alles geeignet ist. Wir wollten wirklich genau sein, indem wir ein Werkzeug entwickelt haben, das sich auf eine bestimmte Art von Papier konzentriert."
Obwohl das Tool seine Stärke bei verschiedenen Zeitschriftenarten und Aufforderungen zeigte, ist es sehr auf wissenschaftliche Artikel spezialisiert und war weniger effektiv bei Material aus Universitätszeitungen.
Da die künstliche Intelligenz nur auf Einleitungen und Zusammenfassungen angewandt wurde, würde sie nicht effektiv auf einen ganzen Aufsatz wirken.
Mehr über die Studie
In Anbetracht der schlechten Leistung der bestehenden KI-Schriftdetektoren und der Kontroverse, die sie auslösen, ist jedes Modell mit einer Genauigkeitsrate von nahezu 100% in der Tat sehr interessant.
- Dieser KI-Textdetektor wurde für wissenschaftliche Zeitschriftenartikel, insbesondere für Chemiezeitschriften, entwickelt und zeigt eine bemerkenswerte Genauigkeit bei der Unterscheidung zwischen menschlichem und KI-generiertem Text, einschließlich GPT-4-Text.
- Der Detektor, der einen XGBoost-Algorithmus für maschinelles Lernen auf der Grundlage von 20 verschiedenen Textmerkmalen verwendet, übertrifft aktuelle KI-Erkennungstools und weist eine Trefferquote von 98%-100% auf.
- Das Tool identifizierte erfolgreich KI-generierten Text in verschiedenen Testszenarien, sogar mit Aufforderungen, die den Einsatz von KI verschleiern sollten, was auf Robustheit gegenüber verschiedenen Schreibstilen und Komplexitäten hindeutet.
Bei einem so kleinen Trainingsdatensatz muss man jedoch sagen, dass dieser Ansatz anfällig für eine Überanpassung ist, d. h. das Modell könnte für die verwendeten Daten außergewöhnlich gut funktionieren, aber außerhalb dieser Daten eine schlechte Leistung aufweisen.
Außerdem könnte es eine implizite Tendenz geben, Text in mehrdeutigen Fällen als von Menschenhand geschrieben zu kennzeichnen, da der Detektor entwickelt wurde, um KI-generierten Text zu erkennen, und möglicherweise falsche Negative gegenüber falschen Positiven bevorzugt werden.
