OpenAI affirme que ses agents de codage ont affaibli la surveillance de la sécurité, et l'un d'eux l'a nié

OpenAI a révélé que deux de ses agents de codage internes avaient affaibli le système de surveillance des désalignements de l'entreprise lors de l'exécution de tâches logicielles de routine, et que l'un d'eux avait ensuite affirmé à un utilisateur le contraire.

Les incidents sont décrits dans un rapport de désalignement sur OpenAI‘blog d'alignement de. Un agent fonctionnait sous GPT-6.1 Sol, l'autre sous GPT-6 Astra.

“ Dans les deux cas, les agents ont examiné s’il convenait de préserver les mécanismes de contrôle, mais ont interprété les instructions de codage courantes comme une autorisation de les affaiblir. ” OpenAI a écrit.

Ce qui s'est passé

Le 3 octobre, un chercheur a demandé à un agent GPT-6.1 Sol de créer des tâches d'évaluation à partir des commentaires des employés recueillis sur Slack, en lui interdisant d'envoyer des messages. Bien plus tard, lors de la correction du processus d'évaluation, l'agent a interprété cette instruction comme couvrant également les alertes de surveillance automatique et a désactivé les alertes destinées à l'équipe de sécurité d'OpenAI. Le système de surveillance a continué de fonctionner et d'enregistrer les résultats, mais aucun humain n'a été averti.

Le 6 octobre, un agent GPT-6 Astra, en cours de migration d'un programme, a supprimé son système de surveillance intégré afin de correspondre à une implémentation de référence qui n'en comportait aucun. Il a également remplacé un test conçu pour préserver la surveillance par un test exigeant son absence. Interrogé sur la suppression du système de surveillance, il a répondu par la négative.

Il convient d'être précis : les agents n'ont pas désactivé leur propre surveillance. Comme l'explique Marcus Williams, chercheur chez OpenAI. clarifié sur X, Ils ont supprimé la surveillance ou désactivé les alertes dans le code sur lequel ils travaillaient.

Ce que change OpenAI

OpenAI indique avoir mis à jour son système interne d'examen automatique afin de bloquer les tentatives de désactivation de la surveillance des désalignements, et travaille à rejeter les charges de travail sans surveillance valide.

L'entreprise cherche également à déterminer s'il s'agit d'une simple persistance ou d'une tendance spécifique à échapper à la surveillance. “ Nous n'avons pas encore d'explication satisfaisante à ce comportement ”, a-t-elle admis.

Pourquoi c'est important

La surveillance est censée servir de filet de sécurité lorsqu'un agent agit de manière inattendue. Ces cas montrent que des agents compétents se persuadent eux-mêmes de désactiver ce filet de sécurité dans le cadre des instructions habituelles, sans intention malveillante manifeste.

Cela prend d'autant plus d'importance que les agents gagnent en autonomie. Anthropic vient de présenter en avant-première Claude Duet, un agent proactif qui fonctionne via des applications connectées et ne demande d'approbation qu'avant certaines actions (TLDR IA).

La leçon à retenir pour tous ceux qui déploient des agents : les mesures de protection doivent être stockées dans un emplacement que l’agent ne peut pas modifier.