L'OpenAI a abandonné son outil de détection de texte par l'IA en raison d'un "faible taux de précision" décevant lorsqu'il s'agit de distinguer un texte créé par ChatGPT d'un texte écrit par un être humain.
L'outil a été rendu public en janvier, mais il renvoie maintenant une erreur "page non trouvée" lorsque vous essayez d'y accéder. via ce blog.
OpenAI a l'intention de reconstruire un meilleur outil avec le temps, en déclarant : "Nous nous efforçons d'intégrer les commentaires et nous recherchons actuellement des techniques de provenance plus efficaces pour le texte."
En outre, l'OpenAI étudie la manière de construire des détecteurs d'IA pour les contenus audio et visuels, tels que les images générées par DALL-E. Des outils de détection d'images par l'IA sont déjà disponibles, mais ils se sont révélés faciles à piéger en qualifiant le contenu de "réel" en manipulant des images et des l'ajout d'artefacts tels que le bruit.
Cela coïncide avec le cadre volontaire sur l'IA annoncé par l'UE. La Maison Blanche la semaine dernièreauquel l'OpenAI a adhéré aux côtés de six autres grandes entreprises spécialisées dans l'IA. Le cadre décrit les engagements pris pour lutter contre les contenus falsifiés potentiellement nuisibles, et les détecteurs d'IA seront un élément clé pour y parvenir.
L'OpenAI a introduit l'outil de détection de texte en janvier 2023 afin d'établir une méthode officielle d'analyse des contenus générés par l'IA.
Le même mois, OpenAI, l'université de Stanford et l'université de Georgetown a publié un article sur la désinformation générée par l'IA, soulignant la nécessité de disposer d'outils permettant de distinguer avec précision les textes écrits par l'homme des textes générés par l'IA.
"Les modèles de langage génératifs se sont considérablement améliorés et peuvent désormais produire des textes réalistes difficiles à distinguer d'un contenu écrit par l'homme... Pour les acteurs malveillants, ces modèles de langage promettent d'automatiser la création de textes convaincants et trompeurs", affirme le document.
Les "menaces" potentielles vont de l'utilisation abusive de l'IA par les étudiants pour les aider à tricher dans leurs devoirs à des scénarios plus extrêmes comme l'ingérence dans les élections et au-delà.
L'outil d'OpenAI n'a correctement classé que 26% de textes générés par l'IA comme étant "probablement écrits par l'IA" et a faussement identifié des textes composés par des humains comme étant écrits par l'IA dans 9% des cas.
Il s'est avéré particulièrement inefficace pour analyser les passages de texte de moins de 1 000 caractères et rédigés dans des langues autres que l'anglais.
OpenAI a désactivé l'accès à l'outil le 20 juillet, sans indiquer clairement quand une nouvelle version sera publiée.
Les outils de détection de l'IA sont confrontés à des problèmes persistants
Dans un une étude récente de StanfordLes outils de détection de l'IA se sont révélés inefficaces lorsqu'ils ont été appliqués à des textes rédigés par des locuteurs natifs non anglophones.
Plus précisément, les outils de détection de l'IA ont incorrectement étiqueté ces textes comme étant "écrits par l'IA", probablement en raison d'une formulation et d'une syntaxe standard non natives. Cela risque de porter préjudice si ces textes sont déployés dans des contextes éducatifs - ils pourraient être faussement marqués comme étant écrits par l'IA alors qu'ils sont authentiques.
Paradoxalement, l'équipe de recherche a souvent réussi à tromper les détecteurs d'IA en leur demandant de réécrire les mêmes textes en les qualifiant d'"écrits par des humains", en les introduisant dans ChatGPT et en lui demandant de les réécrire avec des phrases plus complexes. Ainsi, les étudiants pourraient se tourner vers l'IA pour éviter d'être détectés par l'IA.
Au fur et à mesure que le contenu généré par l'IA devient plus sophistiqué, la précision des détecteurs d'IA deviendra de plus en plus aléatoire.
