OpenAI zegt dat het een watermerkmethode heeft ontwikkeld die nauwkeurig tekst detecteert die is geschreven door ChatGPT, maar is nog in discussie over het al dan niet vrijgeven ervan.
AI-gegenereerde tekst detecteren is steeds moeilijker naarmate LLM's beter worden in het schrijven van inhoud. Docenten moeten een zware strijd leveren om te bepalen of hun studenten hun opdrachten zelf hebben voltooid of ze gewoon door ChatGPT hebben laten schrijven.
In een blogbericht bijgewerktOpenAI onthulde dat het "een tekstwatermerkmethode heeft ontwikkeld die we blijven overwegen terwijl we alternatieven onderzoeken".
Het bedrijf zegt dat de methode zeer nauwkeurig is en bestand tegen lokale manipulatie zoals parafraseren. Het bedrijf geeft echter toe dat het niet waterdicht is. Door de tekst door een vertaalsysteem te halen of door een andere LLM te gebruiken om de tekst te herformuleren, wordt de effectiviteit van het watermerk omzeild.
Als je een AI-model gebruikt om een speciaal teken zoals een emoji tussen elk woord in te voegen en het teken vervolgens verwijdert, wordt het watermerk ook nutteloos. Deze technische beperkingen zijn echter niet de enige reden waarom de functie nog niet is vrijgegeven.
ChatGPT is vooral een handig hulpmiddel voor niet-moedertaalsprekers van het Engels. OpenAI zegt dat haar onderzoek aantoont dat het vrijgeven van het watermerk disproportionele gevolgen kan hebben voor groepen zoals deze en hun gebruik van AI als een nuttig hulpmiddel bij het schrijven kan stigmatiseren.
Alternatieven voor tekstmetagegevens
OpenAI-technici werken aan manieren om metadata te gebruiken als tekstbewaringsmethode in plaats van watermerken. Afbeeldingen gegenereerd door DALL-E 3 hebben al C2PA metadata.
OpenAI zegt dat het nog te vroeg is om te zeggen hoe effectief het toevoegen van metadata aan AI-gegenereerde tekst zou zijn, maar het heeft wel een aantal potentiële voordelen. Metadata is bijvoorbeeld cryptografisch ondertekend, dus er is geen risico op valse positieven.
Het probleem met het gebruik van metadata is dat het gemakkelijk te verwijderen is. OpenAI heeft niet uitgelegd hoe metadata zou worden toegepast op tekst, maar het verwijderen van C2PA metadata uit AI-gegenereerde afbeeldingen is extreem eenvoudig.
Sommige sociale mediaplatforms verwijderen metadata wanneer afbeeldingen worden geüpload en door simpelweg een screenshot van de afbeelding te maken wordt C2PA omzeild. Zullen soortgelijke workarounds effectief zijn met AI-gegenereerde tekst met toegevoegde metadata?
Als ChatGPT tekst genereerde en er metadata aan toevoegde, zou je een screenshot van de tekst kunnen nemen, deze uploaden naar ChatGPT en de afbeelding laten omzetten naar tekst. Vaarwel metadata.
Slecht voor de zaken
De andere reden waarom OpenAI misschien aarzelt om de tool vrij te geven, is dat het alleen tekst detecteert die is gegenereerd door ChatGPT. Als gebruikers weten dat hun AI-gegenereerde inhoud gemakkelijk wordt opgemerkt, zullen ze snel overstappen van ChatGPT naar een ander platform.
De Wall Street Journal meldt dat OpenAI's tool al een jaar klaar was voor lancering en 99% effectief was. In het rapport staat: "In hun pogingen om te beslissen wat te doen, twijfelen OpenAI medewerkers tussen de verklaarde toewijding van de startup aan transparantie en hun verlangen om gebruikers aan te trekken en te behouden."
Uit een wereldwijde enquête in opdracht van OpenAI bleek dat het idee van een AI-detectietool werd gesteund met een marge van 4 tegen 1. Uit een interne enquête bleek echter dat bijna een derde van de ChatGPT-gebruikers zou worden afgeschrikt door een AI-tekstdetector.
Gebruikers willen dat AI-gegenereerde content gemakkelijk te herkennen is, zolang het geen content is die ze zelf hebben gegenereerd.
