OpenAI har avviklet sitt AI-verktøy for tekstgjenkjenning på grunn av en skuffende "lav grad av nøyaktighet" når det gjelder å skille tekst skapt av ChatGPT fra menneskeskrevet tekst.
Verktøyet ble offentliggjort i januar, men nå får du en "siden ble ikke funnet"-feilmelding når du prøver å få tilgang til det via denne bloggen.
OpenAI har til hensikt å bygge et bedre verktøy med tiden, og sier: "Vi jobber med å innarbeide tilbakemeldinger og forsker for tiden på mer effektive proveniensteknikker for tekst."
I tillegg forsker OpenAI på hvordan man kan bygge AI-detektorer for lyd- og visuelt innhold, som for eksempel bilder generert med DALL-E. Det finnes allerede AI-verktøy for bildedetektorer, men de har vist seg å være enkle å lure til å stemple innhold som "ekte" ved å manipulere bilder og legge til artefakter som støy.
Dette sammenfaller med det frivillige rammeverket for kunstig intelligens som ble kunngjort av Det hvite hus i forrige ukesom OpenAI har sluttet seg til sammen med seks andre ledende AI-selskaper. Rammeverket inneholder forpliktelser om å slå ned på potensielt skadelig, dypt falskt innhold, og AI-detektorer vil være en nøkkelkomponent for å oppnå dette.
OpenAI introduserte tekstdeteksjonsverktøyet i januar 2023 for å etablere en offisiell metode for analyse av AI-generert innhold.
Samme måned lanserte OpenAI, Stanford University og Georgetown University publiserte en artikkel om AI-generert desinformasjon, og understreker behovet for verktøy som nøyaktig kan skille mellom menneskeskrevet tekst og AI-generert tekst.
"Generative språkmodeller har blitt drastisk forbedret, og kan nå produsere realistiske tekster som er vanskelige å skille fra menneskeskrevet innhold ... For ondsinnede aktører gir disse språkmodellene et løfte om å automatisere skapelsen av overbevisende og villedende tekst", heter det i artikkelen.
Potensielle "trusler" spenner fra studenter som misbruker kunstig intelligens til å jukse med oppgaver, til mer ekstreme scenarier som innblanding i valg og mer.
OpenAIs verktøy klassifiserte bare 26% av AI-genererte tekster som "sannsynligvis AI-skrivet", og identifiserte feilaktig menneskeskrevet tekst som AI-skrivet i 9% av tilfellene.
Den var spesielt ineffektiv når det gjaldt å analysere tekstpassasjer på under 1 000 tegn og skrevet på andre språk enn engelsk.
OpenAI deaktiverte tilgangen til verktøyet 20. juli, uten noen klar indikasjon på når en nyere versjon vil bli utgitt.
AI-detektorverktøy står overfor vedvarende problemer
I en ny Stanford-studieviste AI-deteksjonsverktøyene seg å være ineffektive når de ble brukt på tekster skrevet av personer med et annet morsmål enn engelsk.
Verktøyene for AI-deteksjon merket disse tekstene feilaktig som "AI-tekster", sannsynligvis på grunn av formuleringer og syntaks som ikke var innfødt standard. Dette kan føre til fordommer hvis de tas i bruk i undervisningssammenheng - tekster kan feilaktig bli markert som AI-tekster til tross for at de er autentiske.
Ironisk nok kunne forskerteamet ofte lure AI-detektorer til å merke de samme tekstene som "menneskeskrevet" ved å legge dem inn i ChatGPT og be den om å skrive om teksten med mer komplekse formuleringer. Dermed kunne studentene ty til AI for å unngå AI-deteksjon.
Etter hvert som AI-generert innhold blir mer sofistikert, vil nøyaktigheten til AI-detektorer bli stadig mer usikker.
