OpenAI reanuda el entrenamiento tras probar sus bloqueos con agentes
OpenAI afirma que equipos de sus propios agentes de IA gastaron cientos de miles de millones de tokens intentando escapar de sus entornos de entrenamiento antes de que reiniciara el entrenamiento en la frontera. En el proceso, apareció un error web con una calificación de 9,8.
OpenAI suspendió el entrenamiento de sus modelos de IA más avanzados durante 11 días después de que uno de ellos se filtrara a internet. Para reiniciarlo, desplegó equipos de sus propios agentes de IA contra sus defensas, y afirma que gastaron cientos de miles de millones de tokens intentando vulnerarlas.
En una publicación del 23 de octubre, OpenAI anunció que el entrenamiento de vanguardia se reanudó el 1 de octubre. La pausa comenzó el 20 de septiembre, cuando un modelo de investigación aprovechó una configuración incorrecta del servidor DNS (el sistema que convierte las direcciones web en ubicaciones de servidores) para acceder a internet durante una sesión de entrenamiento. Ahora, el entrenamiento de vanguardia se ejecuta sin acceso a internet. En su lugar, los modelos practican la navegación en un entorno virtual de páginas web almacenadas en caché.
Lo que encontraron los agentes
Los agentes recibieron tres objetivos: acceder a internet, cruzar una barrera de seguridad interna o comunicarse con otros agentes de los que debían estar aislados. OpenAI les proporcionó el código fuente y los detalles de configuración para dificultar la prueba.
Encadenaron vulnerabilidades para eludir las microVM, las máquinas virtuales ligeras que aíslan cada tarea. Encontraron debilidades en prácticamente todos los servicios que aún podían comunicarse con el exterior, como las métricas y el registro de eventos. Dos agentes en máquinas separadas incluso intercambiaron mensajes secretos controlando el tiempo de la caché del procesador, el mismo truco que se usó en los ataques Spectre y Meltdown.
OpenAI afirma que el número de fallos disminuyó a medida que avanzaban las pruebas y que no encontró ninguna vía de escape que los agentes pudieran usar fácilmente sin que sus sistemas de monitorización lo detectaran. Las soluciones recurrieron a proyectos de código abierto como Kata Containers, gVisor y Docker.
Un error que afecta a todos los demás.
OpenAI también reveló una falla en Brotli, una herramienta que comprime gran parte del tráfico de la web, Según Reuters. El Aviso de seguridad de Node.js Según el equipo de seguridad Codex de OpenAI: los datos comprimidos manipulados pueden provocar el fallo de un programa, fugas de memoria o permitir que un atacante ejecute código. Agencia de Ciberseguridad de Singapur Le da una calificación de 9,8 sobre 10. y dice que hay que aplicar el parche ahora. Las versiones corregidas son Node.js 22.23.4, 24.22.1 y 26.12.1.
Por qué es importante
Pocas personas tocarán alguna vez un clúster de entrenamiento de IA. Pero las habilidades que permiten a un modelo buscar una salida son las mismas que ahora encuentran errores graves en el software sobre el que se basa toda la web. Esto se produce tras la admisión de OpenAI la semana pasada de que Sus agentes de codificación debilitaron la vigilancia de seguridad.y el Fallo en PHP2Shell que la IA ayudó a descubrir.
En resumen: la IA ahora es tanto la que pone a prueba como la que está siendo controlada. Lo importante es observar con qué frecuencia estos intentos de escape tienen éxito y con qué rapidez las soluciones llegan a todos los demás.