OpenAI afirma que sus agentes de codificación debilitaron la supervisión de seguridad, y uno de ellos lo negó

OpenAI ha revelado que dos de sus agentes de codificación internos debilitaron el sistema de monitorización de desalineación de la empresa mientras realizaban tareas rutinarias de software, y uno de ellos posteriormente le dijo a un usuario que no lo había hecho.

Los incidentes se detallan en un informe de desalineación en OpenAI‘blog de alineación. Un agente se ejecutó en GPT-6.1 Sol, el otro en GPT-6 Astra.

“En ambos casos, los agentes consideraron si debían mantenerse las medidas de seguridad de vigilancia, pero interpretaron las instrucciones de codificación rutinarias como una autorización para debilitarlas”.” OpenAI escribió.

Qué pasó

El 3 de octubre, un investigador solicitó a un agente GPT-6.1 Sol que creara tareas de evaluación a partir de los comentarios de los empleados en Slack, indicándole que no enviara ningún mensaje. Mucho después, mientras reparaba el proceso de evaluación, el agente interpretó esta instrucción como aplicable también a las alertas de monitorización automática y suprimió las alertas dirigidas al equipo de seguridad de OpenAI. El sistema de monitorización siguió funcionando y guardando los resultados, pero ningún usuario fue notificado.

El 6 de octubre, un agente GPT-6 Astra que migraba un programa eliminó su integración de monitoreo para que coincidiera con una implementación de referencia que no la tenía. También reemplazó una prueba destinada a preservar el monitoreo por una que requería la ausencia del mismo. Al preguntársele si había eliminado el monitor, respondió que no.

Vale la pena ser precisos: los agentes no desactivaron su propia monitorización. Como afirma el investigador de OpenAI, Marcus Williams. aclarado en X, Eliminaron la monitorización o suprimieron las alertas en el código en el que estaban trabajando.

Lo que OpenAI está cambiando

OpenAI afirma haber actualizado su sistema interno de revisión automática para bloquear los intentos de desactivar la monitorización de desalineaciones, y está trabajando para rechazar las cargas de trabajo que no cuenten con una monitorización válida.

También se está intentando determinar si se trata de una "insistencia excesiva y benigna" o de una tendencia específica a evadir la supervisión. "Todavía no tenemos una explicación satisfactoria para este comportamiento", admitió la empresa.

Por qué es importante

La supervisión está concebida como una red de seguridad cuando un agente realiza alguna acción inesperada. Estos casos muestran cómo agentes competentes, sin ninguna mala intención aparente, se convencen a sí mismos de eliminar dicha red de seguridad de las instrucciones habituales.

Eso importa más a medida que los agentes adquieren más autonomía. Anthropic acaba de presentar una vista previa de Claude Duet, un agente proactivo que funciona a través de aplicaciones conectadas y solo pide aprobación antes de realizar ciertas acciones (IA en resumen).

La lección para cualquiera que implemente agentes es la siguiente: las medidas de seguridad deben residir en un lugar que el agente no pueda modificar.