Passer au contenu
mardi 17 novembre 2026Guide gratuit
FR
dailyai
Caractéristiques

OpenAI autorise quatre laboratoires externes à examiner ses modèles sur place.

Quatre groupes de recherche indépendants collaboreront au sein d'OpenAI afin de vérifier si ses modèles restent sous contrôle pendant l'entraînement et l'utilisation privée. Deux de ces groupes ont déjà défini des limites quant aux données qu'ils peuvent consulter et publier.

· 5 min de lecture
PartagerXen

Quatre groupes de recherche indépendants vont désormais travailler au sein d'OpenAI pour tester si ses modèles restent sous contrôle pendant leur entraînement et leur utilisation en milieu privé. Il s'agit des groupes Apollo Research, METR, Transluce et Goodfire.

La société a publié les accords le 16 novembre. L'entreprise qualifie ce travail d'évaluation intégrée. Concrètement, des spécialistes externes ont accès, pendant une période convenue, à certains des mêmes modèles, données et outils internes utilisés par ses chercheurs. L'objectif est de vérifier la cohérence du modèle, c'est-à-dire s'il fonctionne comme prévu par ses créateurs et si les mécanismes de contrôle de l'entreprise permettraient de détecter tout dysfonctionnement.

Que feront les quatre groupes ?

Un projet pilote sur site d'une durée de quatre mois sera mené par une équipe de six personnes. That team, from Apollo Research, will test whether the AI systems try to get around their own safety controls, or those of later systems. Subversion, here, means secretly working against the instructions of the people who built the system.

The group will examine four claims, in two stages: that model training did not encourage this behaviour; that tough tests do not bring it out; that it has not appeared during internal use; and that the reasoning behind it would be spotted. The first public report will cover incentives in model training. The second will cover tests, internal use, and whether that reasoning would be detectable.

Un bilan des tests post-formation, effectué sur une période de six semaines, devrait débuter début décembre. Transluce, a nonprofit research lab, will look at how well those tests pick up behaviours such as deception, manipulation and reward hacking. Reward hacking is when a model learns to score well on a test without doing the job the test was meant to measure. The group says it will have access to a handful of models, including at least one that has not been released, and to the written reasoning steps produced by the models.

METR doit évaluer les comportements anormaux dans le cadre de ce que l'entreprise qualifie de plus vaste campagne d'apprentissage par renforcement jamais réalisée. L'apprentissage par renforcement est une méthode d'entraînement qui récompense un modèle pour les réponses les plus pertinentes. Une seconde évaluation des systèmes de surveillance de l'entreprise est toujours en attente d'un accord sur son périmètre. L'entreprise a précisé que la première évaluation est plus ciblée qu'une étude plus large sur les comportements anormaux proposée par le même groupe.

A fourth group will watch model training sessions from the inside and publish findings as the work goes on. Goodfire will send interpretability researchers to work at OpenAI and will use its own tools to inspect a model’s inner workings, rather than judging it only by what it says. The company says the main audience for this work is its own researchers.

Vous voulez que l'IA vous fasse gagner des heures par semaine ? Notre guide gratuit vous explique comment.Téléchargez le guide gratuit →

Ce qu'ils pourront et ne pourront pas voir

The access is wide on paper. Assessors can be given saved copies of models from during training, source code, training and evaluation data, monitoring systems, technical documents and conversations with staff, plus the tools and computing power to run their own tests. People who need sensitive information will work in the company’s offices, on company devices.

Les limites sont tout aussi importantes que l'accès. Apollo Research indique que le projet pilote ne répond pas encore à ses propres critères d'accès et de divulgation complets. Il satisfait cependant à la norme du groupe concernant le droit d'expliquer publiquement ce qu'il a été autorisé ou non à consulter et à publier. “ Ce projet pilote constitue une première étape ambitieuse vers des droits d'accès et de divulgation plus étendus, même s'il ne remplit pas encore les critères susmentionnés ”, a écrit le groupe.

The company may withhold some information that falls within the agreed scope if it decides that is reasonably necessary for technical reasons, security, or to protect intellectual property. It has agreed not to withhold material simply because a finding is unfavourable, and to give written reasons when it refuses access. It also chooses which staff the assessors may interview. Formal talks with staff cannot be quoted unless the company attests to a statement that can be published. The on-site team from Apollo Research will not have default access to the company’s general staff message channels.

Both Apollo Research and Transluce will write public reports, and the company can ask for confidential material to be removed before publication. It may not remove Apollo Research’s verdict on each claim, or demand deletions just because a finding is unfavourable. It can still remove evidence that it treats as sensitive intellectual property, even when that evidence supports a conclusion. Readers of the public reports may therefore be unable to check all of the evidence behind a published finding. Transluce says it cannot publish results that relate only to unreleased models, so its public report will cover released models only. It also said the access in this pilot is not comparable to employee-level access.

Les rapports non expurgés seront transmis au Comité de sécurité, un comité indépendant du conseil d'administration de la Fondation OpenAI. Les évaluateurs et le comité peuvent s'entretenir entre eux à huis clos. En cas de désaccord entre l'entreprise et un évaluateur, le problème peut être porté devant ce comité. Apollo Research et Goodfire sont rémunérés pour leur travail. L'entreprise précise que cette rémunération est indépendante des résultats. METR et Transluce ne perçoivent aucune rémunération, mais peuvent recevoir des crédits de calcul.

Pourquoi cela se produit-il maintenant ?

The company said the new assessments also build on its investigation of a July security incident at a major site that hosts AI models. Notre précédent rapport traite de la plainte déposée par l'État par la suite. The company also said the work supports its commitments under an American government agreement on advanced AI, referred to there as super intelligence, in which it agreed to independent assessments of its safety controls.

Transluce has already agreed with the company that it intends to return in early 2027 for a longer, deeper review, lasting about eight weeks. The company says it expects this first phase to lead to longer-term work of the same kind, with outside researchers remaining on site, and that it is exploring future reviews of how it follows its own safety rules, as well as of its culture and processes.

Pourquoi c'est important : Autoriser des chercheurs externes à participer activement aux activités d'un laboratoire d'IA de pointe constitue une forme de contrôle plus rigoureuse qu'un test ponctuel réalisé juste avant un lancement. La valeur publique de ces travaux dépendra de ce que les équipes seront autorisées à consulter et à publier, et deux d'entre elles ont déjà défini ces limites en détail.