OpenAI säger att de har utvecklat en vattenmärkningsmetod som exakt upptäcker text skriven av ChatGPT men diskuterar fortfarande om de ska släppa den eller inte.
Att upptäcka AI-genererad text har blivit allt svårare eftersom LLM:er blir bättre på att skriva innehåll. Lärare står inför en svår kamp för att avgöra om deras studenter slutförde uppgifter själva eller helt enkelt fick ChatGPT att skriva dem.
I en uppdaterat blogginläggavslöjade OpenAI att man har "utvecklat en metod för vattenmärkning av text som vi fortsätter att överväga när vi undersöker alternativ".
Företaget säger att metoden är mycket exakt och motståndskraftig mot lokal manipulering som parafrasering. Det medger dock att det inte är idiotsäkert. Att köra texten genom ett översättningssystem eller använda en annan LLM för att omformulera texten kringgår vattenstämpelns effektivitet.
Om du använder en AI-modell för att infoga ett specialtecken som en emoji mellan varje ord och sedan tar bort tecknet gör det också vattenstämpeln värdelös. Dessa tekniska begränsningar är dock inte det enda skälet till att den inte har släppt funktionen.
ChatGPT har varit ett särskilt användbart skrivverktyg för personer som inte har engelska som modersmål. OpenAI säger att deras forskning visar att frisläppandet av vattenstämplingsverktyget skulle kunna ha en oproportionerlig inverkan på grupper som dessa och stigmatisera deras användning av AI som ett användbart skrivverktyg.
Alternativ för textmetadata
OpenAI:s ingenjörer arbetar på sätt att använda metadata som en metod för att få fram text i stället för vattenmärkning. Bilder som genererats av DALL-E 3 har redan C2PA metadata.
OpenAI säger att det är för tidigt att säga hur effektivt det skulle vara att lägga till metadata i AI-genererad text, men att det har vissa potentiella fördelar. För det första är metadata kryptografiskt signerade så det finns ingen risk för falska positiva resultat.
Problemet med att använda metadata är att det är lätt att ta bort. OpenAI har inte förklarat hur metadata skulle tillämpas på text, men att ta bort C2PA-metadata från AI-genererade bilder är extremt enkelt.
Vissa sociala medieplattformar tar bort metadata när bilder laddas upp och genom att helt enkelt ta en skärmdump av bilden kringgår C2PA. Kommer liknande lösningar att vara effektiva med AI-genererad text med tillagda metadata?
Om ChatGPT genererade text och lade till metadata till den, kan du ta en skärmdump av texten, ladda upp den till ChatGPT och få den att konvertera bilden till text. Adjö metadata.
Dåligt för affärerna
Den andra anledningen till att OpenAI kanske tvekar att släppa verktyget är att det bara upptäcker text som genererats av ChatGPT. Om användarna vet att deras AI-genererade innehåll lätt kommer att upptäckas kommer de snabbt att flytta från ChatGPT till en annan plattform.
Wall Street Journal rapporterade att OpenAIs verktyg har varit redo att släppas i ett år och var 99% effektivt. Rapporten sa: "När de försöker bestämma vad de ska göra har OpenAI-anställda vacklat mellan startupens uttalade åtagande om öppenhet och deras önskan att locka och behålla användare."
En global undersökning beställd av OpenAI visade att idén om ett AI-detekteringsverktyg stöddes med en marginal på 4 till 1. En intern undersökning visade dock att nästan en tredjedel av ChatGPT-användarna skulle bli avskräckta av en AI-textdetektor.
Användarna vill att AI-genererat innehåll ska vara lätt att upptäcka, så länge det inte är innehåll som de själva har genererat.
