OpenAI ha dejado de utilizar su herramienta de detección de texto por IA debido a la decepcionante "baja tasa de precisión" a la hora de discernir el texto creado por ChatGPT del texto escrito por humanos.
La herramienta se hizo pública en enero, pero ahora devuelve un error de "página no encontrada" cuando se intenta acceder a ella. a través de este blog.
OpenAI tiene la intención de reconstruir una herramienta mejor con el tiempo, declarando: "Estamos trabajando para incorporar los comentarios y actualmente estamos investigando técnicas de procedencia más eficaces para el texto."
Además, OpenAI está investigando cómo construir detectores de IA para contenidos sonoros y visuales, como las imágenes generadas con DALL-E. Ya existen herramientas de detección de imágenes con IA, pero han resultado fáciles de engañar en etiquetar contenidos como "reales" manipulando imágenes y añadir artefactos como ruido.
Esto coincide con el marco voluntario de IA anunciado por la Casa Blanca la semana pasadaal que se ha adherido OpenAI junto con otras seis empresas líderes en IA. El marco se compromete a tomar medidas drásticas contra los contenidos falsos potencialmente dañinos, y los detectores de IA serán un componente clave para lograrlo.
OpenAI introdujo la herramienta de detección de texto en enero de 2023 para establecer un método oficial de análisis de contenidos generados por IA.
El mismo mes, OpenAI, la Universidad de Stanford y la Universidad de Georgetown publicó un artículo sobre la desinformación generada por IA, poniendo de relieve la necesidad de herramientas que disciernan con precisión el texto escrito por humanos del texto generado por IA.
"Los modelos lingüísticos generativos han mejorado drásticamente y ahora pueden producir textos realistas que son difíciles de distinguir del contenido escrito por humanos... Para los delincuentes, estos modelos lingüísticos suponen la promesa de automatizar la creación de textos convincentes y engañosos", afirma el artículo.
Las posibles "amenazas" van desde el uso indebido de la IA por parte de los estudiantes para hacer trampas en los deberes hasta situaciones más extremas como la interferencia en las elecciones, entre otras.
La herramienta de OpenAI sólo clasificó correctamente 26% de texto generado por IA como "probablemente escrito por IA" e identificó erróneamente texto compuesto por humanos como escrito por IA el 9% de las veces.
Resultaba especialmente ineficaz para analizar pasajes de texto de menos de 1.000 caracteres y escritos en lenguas distintas del inglés.
OpenAI desactivó el acceso a la herramienta el 20 de julio, sin ninguna indicación clara de cuándo se publicará una versión más reciente.
Las herramientas de detección de IA se enfrentan a problemas constantes
En un estudio reciente de StanfordLas herramientas de detección de IA resultaron ineficaces cuando se aplicaron a textos escritos por hablantes nativos no ingleses.
En concreto, las herramientas de detección de IA etiquetaron incorrectamente estos textos como "escritos por IA", probablemente debido a una redacción y una sintaxis no nativas. Si se utilizan en entornos educativos, los textos podrían considerarse falsamente "escritos por inteligencia artificial" a pesar de ser auténticos.
Irónicamente, el equipo de investigación podía engañar a los detectores de IA para que volvieran a etiquetar los mismos textos como "escritos por humanos" introduciéndolos en ChatGPT y pidiéndole que reescribiera el texto con una redacción más compleja. Así, los estudiantes podían recurrir a la IA para evitar ser detectados por ella.
A medida que los contenidos generados por IA se vuelvan más sofisticados, la precisión de los detectores de IA será cada vez mayor.
