OpenAI har indstillet sit AI-tekstgenkendelsesværktøj på grund af en skuffende "lav grad af nøjagtighed" i forhold til at skelne tekst skabt af ChatGPT fra menneskeskrevet tekst.
Værktøjet blev offentliggjort i januar, men nu får man en "side ikke fundet"-fejl, når man prøver at få adgang til det. via denne blog.
OpenAI har til hensigt at genopbygge et bedre værktøj med tiden og siger: "Vi arbejder på at indarbejde feedback og er i øjeblikket ved at undersøge mere effektive teknikker til at finde frem til tekst."
Derudover undersøger OpenAI, hvordan man kan bygge AI-detektorer til lyd og visuelt indhold, som f.eks. billeder genereret med DALL-E. Der findes allerede AI-billeddetektorværktøjer, men de har vist sig at være nemme at narre til at stemple indhold som 'ægte' ved at manipulere billeder og tilføje artefakter såsom støj.
Dette falder sammen med den frivillige AI-ramme, der blev annonceret af Det Hvide Hus i sidste ugesom OpenAI har tilsluttet sig sammen med 6 andre førende AI-virksomheder. Rammen skitserer forpligtelser til at slå ned på potentielt skadeligt dybt falsk indhold, og AI-detektorer vil være en nøglekomponent i at opnå dette.
OpenAI introducerede tekstdetekteringsværktøjet i januar 2023 for at etablere en officiel metode til analyse af AI-genereret indhold.
Samme måned blev OpenAI, Stanford University og Georgetown University udgav en artikel om AI-genereret desinformation, hvilket understreger behovet for værktøjer, der præcist kan skelne mellem menneskeskrevet tekst og AI-genereret tekst.
"Generative sprogmodeller er blevet forbedret drastisk og kan nu producere realistiske tekstoutput, der er vanskelige at skelne fra menneskeskrevet indhold ... For ondsindede aktører giver disse sprogmodeller et løfte om at automatisere skabelsen af overbevisende og vildledende tekst", argumenteres der i artiklen.
Potentielle "trusler" spænder fra studerende, der misbruger AI til at hjælpe med at snyde med opgaver, til mere ekstreme scenarier som indblanding i valg og meget mere.
OpenAI's værktøj klassificerede kun 26% af AI-genereret tekst korrekt som "sandsynligvis AI-skrevet" og identificerede fejlagtigt menneskeskabt tekst som AI-skrevet i 9% af tilfældene.
Den var især ineffektiv til at analysere tekstpassager på under 1.000 tegn og skrevet på ikke-engelske sprog.
OpenAI deaktiverede adgangen til værktøjet den 20. juli uden nogen klar indikation af, hvornår en nyere version vil blive frigivet.
AI-detektorværktøjer står over for løbende problemer
I en nyligt Stanford-studieviste AI-detektionsværktøjer sig at være ineffektive, når de blev anvendt på tekster skrevet af personer, der ikke har engelsk som modersmål.
Specifikt mærkede AI-detekteringsværktøjer disse tekster forkert som 'AI-skrevet', sandsynligvis på grund af ikke-indfødte standardformuleringer og syntaks. Dette risikerer at skabe fordomme, hvis det anvendes i undervisningssammenhænge - tekster kan fejlagtigt blive markeret som AI-skrevet, selvom de er autentiske.
Ironisk nok kunne forskerteamet ofte narre AI-detektorer til at ommærke de samme tekster som "menneskeskrevne" ved at indtaste dem i ChatGPT og bede den om at omskrive teksten med mere komplekse formuleringer. På den måde kunne de studerende bruge AI til at undgå at blive opdaget af AI.
Efterhånden som AI-genereret indhold bliver mere sofistikeret, vil AI-detektorernes nøjagtighed blive mere og mere problematisk.
