OpenAI ha interrotto il suo strumento di riconoscimento del testo da parte dell'intelligenza artificiale a causa di un deludente "basso tasso di accuratezza" nel discernere il testo creato da ChatGPT da quello scritto dall'uomo.
Lo strumento è stato reso pubblico a gennaio, ma ora restituisce un errore di "pagina non trovata" quando si cerca di accedervi. tramite questo blog.
OpenAI intende ricostruire uno strumento migliore nel tempo, dichiarando: "Stiamo lavorando per incorporare i feedback e stiamo attualmente ricercando tecniche di provenienza più efficaci per il testo".
Inoltre, OpenAI sta studiando come costruire rilevatori di intelligenza artificiale per contenuti audio e visivi, come le immagini generate con DALL-E. Sono già disponibili strumenti di rilevamento di immagini AI, ma si sono dimostrati facili da ingannare. nell'etichettare i contenuti come "reali" manipolando le immagini e le aggiunta di artefatti come il rumore.
Questo coincide con il quadro di riferimento volontario per l'IA annunciato dall'Agenzia per la sicurezza alimentare. La Casa Bianca la scorsa settimanaa cui OpenAI ha aderito insieme ad altre 6 aziende leader nel settore dell'intelligenza artificiale. Il quadro delinea l'impegno a ridurre i contenuti falsi potenzialmente dannosi e i rilevatori di IA saranno una componente chiave per raggiungere questo obiettivo.
OpenAI ha introdotto lo strumento di rilevamento del testo nel gennaio 2023 per stabilire un metodo ufficiale di analisi dei contenuti generati dall'intelligenza artificiale.
Lo stesso mese, OpenAI, l'Università di Stanford e la Georgetown University ha pubblicato un documento sulla disinformazione generata dall'IA, evidenziando la necessità di strumenti in grado di discernere accuratamente il testo scritto dall'uomo da quello generato dall'IA.
"I modelli linguistici generativi sono migliorati drasticamente e possono ora produrre output testuali realistici che sono difficili da distinguere dai contenuti scritti dall'uomo... Per gli attori malintenzionati, questi modelli linguistici portano la promessa di automatizzare la creazione di testi convincenti e fuorvianti", si legge nel documento.
Le potenziali "minacce" vanno dall'uso improprio dell'intelligenza artificiale da parte degli studenti per imbrogliare i compiti, fino a scenari più estremi come l'interferenza elettorale e oltre.
Lo strumento di OpenAI ha classificato correttamente solo 26% di testo generato dall'IA come "probabilmente scritto dall'IA" e ha identificato erroneamente come scritto dall'IA un testo composto dall'uomo nel 9% dei casi.
È risultato particolarmente inefficace nell'analisi di passaggi di testo inferiori a 1.000 caratteri e scritti in lingue non inglesi.
OpenAI ha disattivato l'accesso allo strumento il 20 luglio, senza indicare chiaramente quando verrà rilasciata una nuova versione.
Gli strumenti di rilevamento dell'IA devono affrontare problemi continui
In un recente studio di StanfordGli strumenti di rilevamento dell'intelligenza artificiale si sono rivelati inefficaci quando sono stati applicati a testi scritti da persone di madrelingua non inglese.
In particolare, gli strumenti di rilevamento dell'IA hanno erroneamente etichettato questi testi come "scritti dall'IA", probabilmente a causa di fraseggio e sintassi non nativi. Questo rischia di essere un pregiudizio se utilizzato in contesti educativi: i testi potrebbero essere falsamente etichettati come scritti dall'IA pur essendo autentici.
Ironia della sorte, il team di ricerca è riuscito spesso a ingannare i rilevatori di IA e a fargli rietichettare gli stessi testi come "scritti da esseri umani", inserendoli in ChatGPT e chiedendogli di riscrivere il testo con frasi più complesse. In questo modo, gli studenti potevano rivolgersi all'IA per evitare di essere rilevati.
Man mano che i contenuti generati dall'IA diventano più sofisticati, l'accuratezza dei rilevatori di IA diventerà sempre più problematica.
