Une faille dans Codex d’OpenAI a mis en péril 97 millions de téléchargements par mois

96,8 millions. C'est le nombre de téléchargements de la version en ligne de commande de Codex, l'assistant de programmation d'OpenAI, au cours des 30 jours précédant le 10 novembre. Des chercheurs en sécurité expliquent qu'un faux rapport de bug aurait pu permettre à un attaquant d'introduire du code malveillant dans une future mise à jour. OpenAI a corrigé la faille et a versé une première récompense de 1 000 $ aux chercheurs.

Les chercheurs travaillent pour la société de sécurité Depi. Le 11 novembre, ils ont publié chaque étape de l'attaque. Le nombre de téléchargements provient des statistiques publiques de la bibliothèque logicielle npm. Depi affirme que les utilisateurs de Codex n'ont rien à corriger.

Comment l'attaque a fonctionné

OpenAI héberge le code de Codex dans un projet public sur GitHub, où chacun peut signaler un bug. Un outil d'assistance analyse chaque nouveau signalement et propose des étiquettes. Cet outil n'est autre que l'assistant Codex lui-même, qui reçoit le texte du signalement mêlé à ses propres instructions. Un rédacteur peut ainsi dissimuler des commandes dans un signalement. Cette technique est appelée injection de prompts.

Depi affirme avoir incité l'assistant à exécuter du code caché, s'être évadé de son environnement de travail sécurisé et avoir lu des clés d'accès secrètes en mémoire. Grâce à ces clés, il a implanté un fichier malveillant dans un répertoire de fichiers partagé par les tâches automatisées. Une tâche plus puissante pouvait alors exécuter ce fichier. La dernière étape consistait en un piège fournissant à l'attaquant une clé utilisée par la bibliothèque npm pour la publication de nouvelles versions de Codex.

Ce qu'OpenAI a changé

Depi indique qu'OpenAI a immédiatement déployé un correctif et versé une première récompense de 1 000 $, le rapport étant toujours en cours d'examen. Les récompenses les plus élevées pour les bugs les plus graves peuvent atteindre 100 000 $ avant les bonus. L'entreprise a augmenté ses taux de récompense au début du mois.

Tôt le 12 novembre, heure de Paris, OpenAI a remplacé l'assistant de son outil d'étiquetage par un court script. Ce script interroge un modèle pour obtenir des étiquettes, ses outils étant désactivés, et n'accepte que les réponses dans un format précis. La modification est visible dans la liste publique des modifications du projet.

Il convient toutefois de préciser que Depi a mené l'attaque complète sur sa propre copie de test, où l'assistant était autorisé à écrire des fichiers. L'assistant d'OpenAI, quant à lui, utilisait un mode lecture seule plus strict depuis mai. Ce paramètre apparaît dans la version du fichier correspondant à ce mois-là. Depi ne précise pas si l'attaque aurait fonctionné dans ce mode, et ne signale aucune mise à jour malveillante ayant atteint les utilisateurs.

Son conseil pour tous les autres est d'attendre un peu avant que les outils n'installent automatiquement les nouvelles mises à jour. Le mois dernier, une autre équipe a reçu une récompense de 5 000 $ pour une faille dans les liens de discussion partagés.

Pourquoi c'est important : Les assistants IA capables de lire des textes rédigés par des inconnus peuvent être incités à agir en conséquence. Dans ce cas précis, l'inconnu n'avait qu'à signaler un bug, et la cible était un outil exécutant du code sur les ordinateurs des développeurs des dizaines de millions de fois par mois.