OpenAI hat sein KI-Tool zur Texterkennung eingestellt, da es eine enttäuschend "niedrige Genauigkeitsrate" bei der Unterscheidung von durch ChatGPT erstelltem und von Menschen geschriebenem Text aufweist.
Das Tool wurde im Januar veröffentlicht, aber jetzt wird eine Fehlermeldung "Seite nicht gefunden" angezeigt, wenn Sie versuchen, darauf zuzugreifen über diesen Blog.
OpenAI beabsichtigt, im Laufe der Zeit ein besseres Tool zu entwickeln: "Wir arbeiten daran, das Feedback zu berücksichtigen und erforschen derzeit effektivere Provenance-Techniken für Text."
Darüber hinaus erforscht OpenAI, wie man KI-Detektoren für Audio- und visuelle Inhalte, wie z. B. Bilder aus DALL-E, entwickeln kann. Tools zur KI-Bilderkennung gibt es bereits, aber sie sind leicht zu überlisten Inhalte als "echt" zu bezeichnen, indem sie Bilder manipulieren und Hinzufügen von Artefakten wie Rauschen.
Dies deckt sich mit dem freiwilligen AI-Rahmen, der von der Weißes Haus letzte Wochedem sich OpenAI zusammen mit 6 anderen führenden KI-Unternehmen angeschlossen hat. Der Rahmen sieht vor, dass gegen potenziell schädliche gefälschte Inhalte vorgegangen werden soll, und KI-Detektoren werden dabei eine Schlüsselrolle spielen.
OpenAI hat das Texterkennungstool im Januar 2023 eingeführt, um eine offizielle Methode zur Analyse von KI-generierten Inhalten zu schaffen.
Im selben Monat haben OpenAI, die Stanford University und die Georgetown University veröffentlichte ein Papier über KI-generierte Desinformation und unterstreicht die Notwendigkeit von Werkzeugen, die zwischen von Menschen geschriebenen Texten und KI-generierten Texten unterscheiden können.
"Generative Sprachmodelle haben sich drastisch verbessert und können nun realistische Textausgaben produzieren, die nur schwer von von Menschen geschriebenen Inhalten zu unterscheiden sind... Für böswillige Akteure bieten diese Sprachmodelle das Versprechen, die Erstellung von überzeugenden und irreführenden Texten zu automatisieren", heißt es in dem Papier.
Potenzielle "Bedrohungen" reichen von der missbräuchlichen Verwendung von KI durch Studenten, um bei Hausarbeiten zu schummeln, bis hin zu extremeren Szenarien wie der Beeinflussung von Wahlen und darüber hinaus.
Das Tool von OpenAI stufte nur 26% der von KI generierten Texte korrekt als "wahrscheinlich von KI geschrieben" ein und identifizierte von Menschen verfasste Texte fälschlicherweise in 9% der Fälle als von KI geschrieben.
Besonders ineffektiv war es bei der Analyse von Textpassagen mit weniger als 1.000 Zeichen, die in nicht-englischen Sprachen verfasst sind.
OpenAI hat den Zugriff auf das Tool am 20. Juli deaktiviert, ohne dass klar ist, wann eine neuere Version veröffentlicht wird.
KI-Detektor-Tools sind mit ständigen Problemen konfrontiert
In einem aktuelle Stanford-StudieDie KI-Erkennungsinstrumente erwiesen sich als unwirksam, wenn sie auf Texte angewandt wurden, die von nicht-englischen Muttersprachlern verfasst wurden.
Insbesondere die KI-Erkennungstools stuften diese Texte fälschlicherweise als "KI-geschrieben" ein, wahrscheinlich aufgrund der nicht muttersprachlichen Standardformulierung und Syntax. Dies birgt die Gefahr von Vorurteilen, wenn sie im Bildungsbereich eingesetzt werden - Texte könnten fälschlicherweise als KI-geschrieben gekennzeichnet werden, obwohl sie authentisch sind.
Ironischerweise konnte das Forschungsteam die KI-Detektoren oft dazu bringen, dieselben Texte als "von Menschen geschrieben" zu kennzeichnen, indem es sie in ChatGPT eingab und das Programm aufforderte, den Text mit komplexeren Formulierungen neu zu schreiben. Auf diese Weise konnten sich die SchülerInnen an die KI wenden, um eine KI-Erkennung zu vermeiden.
Da die von KI generierten Inhalte immer ausgefeilter werden, wird die Genauigkeit der KI-Detektoren immer mehr in Frage gestellt werden.
