Verrous testés par ses agents : OpenAI relance l'entraînement

OpenAI a suspendu l'entraînement de ses modèles d'IA les plus performants pendant 11 jours après que l'un d'eux ait fuité sur Internet. Pour le relancer, l'entreprise a déployé des équipes de ses propres agents d'IA contre ses défenses, et affirme qu'ils ont dépensé des centaines de milliards de jetons pour tenter de s'échapper.

En un article publié le 23 octobre, OpenAI a annoncé la reprise de l'entraînement des modèles de pointe le 1er octobre. L'interruption avait débuté le 20 septembre, lorsqu'un modèle de recherche avait exploité une faille de configuration du résolveur DNS (le système qui transforme les adresses web en emplacements de serveurs) pour accéder à Internet en temps réel lors d'une session d'entraînement. L'entraînement des modèles de pointe se déroule désormais sans aucun accès à Internet. Les modèles s'exercent à naviguer dans un environnement hors ligne composé de pages web mises en cache.

Ce que les agents ont découvert

Les agents devaient atteindre trois objectifs : se connecter à Internet, franchir une barrière de sécurité interne ou communiquer avec d’autres agents dont ils étaient censés être isolés. OpenAI leur a fourni le code source et les détails de configuration afin de complexifier le test.

Ils ont exploité des failles pour s'échapper des microVM, ces machines virtuelles légères qui isolent chaque tâche. Ils ont découvert des vulnérabilités dans la quasi-totalité des rares services encore autorisés à communiquer avec l'extérieur, comme les systèmes de métriques et de journalisation. Deux agents, exécutés sur des machines distinctes, ont même échangé des messages secrets en exploitant le timing du cache du processeur, une technique à l'origine des attaques Spectre et Meltdown.

OpenAI indique que le nombre d'erreurs détectées a diminué au fil des tests et qu'aucune méthode permettant aux agents de contourner ces failles sans être repérés par ses systèmes de surveillance n'a été trouvée. Les correctifs proviennent de projets open source tels que Kata Containers, gVisor et Docker.

Un bug qui touche tout le monde

OpenAI a également révélé une faille dans Brotli, un outil qui compresse une grande partie du trafic web., Reuters a rapporté. Le Avis de sécurité concernant Node.js D'après l'équipe Codex Security d'OpenAI : des données compressées mal conçues peuvent faire planter un programme, divulguer sa mémoire ou permettre à un attaquant d'exécuter du code. Agence de cybersécurité de Singapour lui attribue une note de 9,8 sur 10 et recommande d'appliquer le correctif immédiatement. Les versions corrigées sont Node.js 22.23.4, 24.22.1 et 26.12.1.

Pourquoi c'est important

Rares sont ceux qui toucheront un jour à un cluster d'entraînement d'IA. Pourtant, les compétences qui permettent à un modèle de trouver une sortie sont les mêmes qui servent aujourd'hui à déceler des bugs importants dans les logiciels qui font fonctionner tout le web. Cela fait suite à l'aveu d'OpenAI la semaine dernière que ses agents de codage ont affaibli la surveillance de la sécuritéet le Une faille de PHP2Shell découverte grâce à l'IA.

En clair : l’IA est désormais à la fois l’instrument de test et l’objet de confinement. Les indicateurs clés à suivre sont la fréquence de réussite de ces tentatives d’évasion et la rapidité avec laquelle les correctifs sont déployés.