Un fallo en Codex de OpenAI puso en riesgo 97 millones de descargas mensuales

96,8 millones. Esa es la cantidad de veces que se descargó la versión de línea de comandos de Codex, el asistente de programación de OpenAI, en los 30 días previos al 10 de noviembre. Investigadores de seguridad afirman que un informe de error falso podría haber permitido a un atacante introducir código malicioso en una futura actualización. OpenAI solucionó el problema y pagó a los investigadores una primera recompensa de 1000 dólares.

Los investigadores trabajan en la empresa de seguridad Depi. El 11 de noviembre publicaron cada paso del ataque. El número de descargas proviene de las estadísticas públicas de la biblioteca de software npm. Depi afirma que los usuarios de Codex no tienen nada que parchear.

Cómo funcionó el ataque

OpenAI mantiene el código de Codex en un proyecto público en GitHub, donde cualquiera puede reportar errores. Una herramienta auxiliar leía cada nuevo informe y sugería etiquetas. Esta herramienta era el propio asistente de Codex, que recibía el texto del informe mezclado con sus propias instrucciones. De esta forma, un autor podía ocultar comandos en un informe. Este truco se conoce como inyección de indicaciones.

Depi afirma haber logrado que el asistente ejecutara código oculto, escapando así del entorno cerrado en el que opera y leyendo claves de acceso secretas de la memoria del ordenador. Con esas claves, insertó un archivo malicioso en un repositorio compartido por tareas automatizadas. Posteriormente, una tarea con mayores recursos podía ejecutar dicho archivo. El último paso consistía en una trampa que proporcionaba al atacante una clave que la biblioteca npm acepta para publicar nuevas versiones de Codex.

Lo que cambió OpenAI

Depi afirma que OpenAI implementó una solución de inmediato y pagó una primera recompensa de 1000 dólares, mientras el informe aún está en revisión. Las recompensas más altas para los errores más graves alcanzan los 100 000 dólares antes de las bonificaciones. La empresa aumentó sus tasas de bonificación a principios de este mes.

A primera hora del 12 de noviembre, hora de París, OpenAI sustituyó el asistente de esa herramienta de etiquetado por un breve script. Este script solicita etiquetas al modelo con sus herramientas desactivadas y solo acepta respuestas en un formato fijo. El cambio es visible en la lista pública de cambios del proyecto.

Hay una salvedad. Depi ejecutó el ataque completo en su propia copia de prueba, donde el asistente tenía permiso para escribir archivos. El asistente de OpenAI había utilizado un modo de solo lectura más estricto desde mayo. La configuración aparece en la versión del archivo de ese mes. Depi no aclara si el ataque habría funcionado en ese modo, ni informa de que alguna actualización dañina haya llegado a los usuarios.

Su recomendación para los demás es esperar un breve período de tiempo antes de que las herramientas instalen automáticamente las nuevas actualizaciones. El mes pasado, otro equipo recibió una recompensa de 5.000 dólares por un fallo en los enlaces de chat compartidos.

Por qué es importante: Los asistentes de IA que leen textos de desconocidos pueden ser persuadidos para que actúen en consecuencia. En este caso, el desconocido solo tuvo que enviar un informe de error, y el objetivo era una herramienta que ejecuta código en las computadoras de los desarrolladores decenas de millones de veces al mes.