OpenAI har avvecklat sitt AI-verktyg för textdetektering på grund av en nedslående "låg noggrannhet" när det gäller att skilja text skapad av ChatGPT från mänskligt skriven text.
Verktyget offentliggjordes i januari, men nu visas felmeddelandet "sidan hittades inte" när du försöker komma åt det via denna blogg.
OpenAI avser att bygga ett bättre verktyg med tiden och säger: "Vi arbetar för att införliva feedback och undersöker för närvarande effektivare provenienstekniker för text."
Dessutom undersöker OpenAI hur man kan bygga AI-detektorer för ljud- och bildinnehåll, till exempel bilder som genereras med DALL-E. Verktyg för AI-bilddetektorer finns redan tillgängliga, men de har visat sig vara lätta att lura till att märka innehåll som "verkligt" genom att manipulera bilder och lägga till artefakter som t.ex. brus.
Detta sammanfaller med det frivilliga AI-ramverk som tillkännagavs av Vita huset förra veckansom OpenAI har anslutit sig till tillsammans med 6 andra ledande AI-företag. Ramverket beskriver åtaganden för att stävja potentiellt skadligt djupfalskt innehåll, och AI-detektorer kommer att vara en nyckelkomponent för att uppnå detta.
OpenAI introducerade textdetekteringsverktyget i januari 2023 för att etablera en officiell metod för att analysera AI-genererat innehåll.
Samma månad presenterade OpenAI, Stanford University och Georgetown University publicerat en artikel om AI-genererad desinformation, och lyfte fram behovet av verktyg som på ett korrekt sätt kan skilja mellan mänskligt skriven text och AI-genererad text.
"Generativa språkmodeller har förbättrats drastiskt och kan nu producera realistiska textutgångar som är svåra att skilja från mänskligt skrivet innehåll ... För skadliga aktörer ger dessa språkmodeller löftet om att automatisera skapandet av övertygande och vilseledande text", hävdar tidningen.
Potentiella "hot" kan vara allt från att studenter missbrukar AI för att fuska med uppgifter till mer extrema scenarier som valpåverkan och annat.
OpenAI:s verktyg klassificerade endast 26% av AI-genererad text som "sannolikt AI-skriven" och identifierade felaktigt mänskligt komponerad text som AI-skriven 9% av gångerna.
Det var särskilt ineffektivt när det gällde att analysera textpassager med färre än 1.000 tecken och som var skrivna på icke-engelska språk.
OpenAI avaktiverade tillgången till verktyget den 20 juli, utan någon tydlig indikation på när en nyare version kommer att släppas.
Verktyg för AI-detektorer står inför fortsatta problem
I en ny studie från Stanfordvisade sig AI-detekteringsverktyg vara ineffektiva när de tillämpades på texter skrivna av personer som inte har engelska som modersmål.
I synnerhet märkte AI-detekteringsverktyg felaktigt dessa texter som "AI-skrivna", sannolikt på grund av icke-infödda standardfraser och syntax. Detta riskerar att leda till fördomar om det används i utbildningssammanhang - texter kan felaktigt flaggas som AI-skrivna trots att de är autentiska.
Ironiskt nog kunde forskargruppen ofta lura AI-detektorer att märka om samma texter som "mänskligt skrivna" genom att mata in dem i ChatGPT och be den att skriva om texten med mer komplexa formuleringar. Studenter kunde alltså vända sig till AI för att undvika AI-detektering.
I takt med att AI-genererat innehåll blir allt mer sofistikerat kommer AI-detektorernas träffsäkerhet att bli allt mer ifrågasatt.
