OpenAI is gestopt met zijn AI-tekstdetectietool vanwege een teleurstellende "lage mate van nauwkeurigheid" bij het onderscheiden van door ChatGPT gemaakte tekst van door mensen geschreven tekst.
Het hulpprogramma werd in januari openbaar gemaakt, maar geeft nu een 'pagina niet gevonden'-foutmelding wanneer je het probeert te openen. via deze blog.
OpenAI is van plan om na verloop van tijd een betere tool te maken en zegt: "We werken eraan om feedback te verwerken en onderzoeken momenteel effectievere provenance-technieken voor tekst."
Daarnaast onderzoekt OpenAI hoe AI-detectoren kunnen worden gebouwd voor audio- en visuele inhoud, zoals beelden die met DALL-E worden gegenereerd. Er zijn al AI-tools voor afbeeldingsdetectie beschikbaar, maar ze blijken gemakkelijk te misleiden in het labelen van inhoud als 'echt' door het manipuleren van beelden en artefacten zoals ruis toevoegen.
Dit valt samen met het vrijwillige AI-raamwerk dat is aangekondigd door de Witte Huis vorige weekwaaraan OpenAI samen met 6 andere toonaangevende AI-bedrijven heeft deelgenomen. Het raamwerk schetst toezeggingen om potentieel schadelijke deep fake-inhoud aan te pakken en AI-detectoren zullen een belangrijk onderdeel zijn om dat te bereiken.
OpenAI introduceerde de tekstdetectietool in januari 2023 om een officiële methode te ontwikkelen voor het analyseren van AI-gegenereerde inhoud.
Dezelfde maand hebben OpenAI, Stanford University en Georgetown University een artikel gepubliceerd over door AI gegenereerde desinformatie, waarin de noodzaak wordt benadrukt van tools die nauwkeurig onderscheid maken tussen door mensen geschreven tekst en door AI gegenereerde tekst.
"Generatieve taalmodellen zijn drastisch verbeterd en kunnen nu realistische tekstuitvoer produceren die moeilijk te onderscheiden is van door mensen geschreven inhoud... Voor kwaadwillende actoren houden deze taalmodellen de belofte in van het automatiseren van de creatie van overtuigende en misleidende tekst," stelt het artikel.
Potentiële 'bedreigingen' variëren van studenten die AI misbruiken om te helpen bij het spieken bij opdrachten tot extremere scenario's zoals verkiezingsinmenging en meer.
De tool van OpenAI classificeerde slechts 26% van de door AI gegenereerde tekst correct als 'waarschijnlijk door AI geschreven' en identificeerde 9% van de door mensen samengestelde tekst ten onrechte als door AI geschreven.
Het was vooral niet effectief in het analyseren van tekstpassages van minder dan 1000 tekens en geschreven in niet-Engelse talen.
OpenAI deactiveerde de toegang tot de tool op 20 juli, zonder duidelijke indicatie van wanneer een nieuwere versie zal worden vrijgegeven.
AI-detectietools kampen met voortdurende problemen
In een recent onderzoek van StanfordAI-detectietools bleken niet effectief wanneer ze werden toegepast op teksten van niet-Engelse moedertaalsprekers.
Met name AI-detectietools bestempelden deze teksten ten onrechte als 'door AI geschreven', waarschijnlijk vanwege niet-inheemse standaardzinnen en zinsbouw. Dit kan nadelige gevolgen hebben voor het onderwijs - teksten kunnen ten onrechte worden aangemerkt als door AI geschreven, ook al zijn ze authentiek.
Ironisch genoeg kon het onderzoeksteam AI-detectors vaak overhalen om dezelfde teksten als 'door mensen geschreven' te bestempelen door ze in te voeren in ChatGPT en het te vragen de tekst te herschrijven met complexere bewoordingen. Studenten konden zich dus tot AI wenden om detectie door AI te voorkomen.
Naarmate AI-gegenereerde inhoud geavanceerder wordt, zal de nauwkeurigheid van AI-detectors steeds meer onder druk komen te staan.
