OpenAI laat 4 externe laboratoria hun modellen ter plaatse inspecteren.
Vier onafhankelijke onderzoeksgroepen zullen binnen OpenAI testen of de modellen onder controle blijven tijdens de training en het privégebruik. Twee van de groepen hebben al beperkingen gesteld aan wat ze mogen zien en publiceren.

Vier onafhankelijke onderzoeksgroepen zullen nu binnen OpenAI gaan onderzoeken of de modellen onder controle blijven tijdens de training en het gebruik ervan in een besloten omgeving. De groepen zijn Apollo Research, METR, Transluce en Goodfire.
Het bedrijf publiceerde de overeenkomsten op 16 november. Het bedrijf noemt dit werk 'ingebedde beoordelingen'. Dat betekent dat externe specialisten gedurende een afgesproken periode toegang krijgen tot een deel van dezelfde interne modellen, data en tools die de eigen onderzoekers van het bedrijf gebruiken. Het doel is om te controleren of een model doet wat de makers ervan beogen, en of de interne beveiligingsmechanismen van het bedrijf een eventuele afwijking zouden detecteren.
Wat de vier groepen zullen doen
Een proefproject van vier maanden op locatie zal worden uitgevoerd door een team van zes personen. That team, from Apollo Research, will test whether the AI systems try to get around their own safety controls, or those of later systems. Subversion, here, means secretly working against the instructions of the people who built the system.
The group will examine four claims, in two stages: that model training did not encourage this behaviour; that tough tests do not bring it out; that it has not appeared during internal use; and that the reasoning behind it would be spotted. The first public report will cover incentives in model training. The second will cover tests, internal use, and whether that reasoning would be detectable.
Begin december start een evaluatieperiode van zes weken met de resultaten van de tests die na de training zijn afgenomen. Transluce, a nonprofit research lab, will look at how well those tests pick up behaviours such as deception, manipulation and reward hacking. Reward hacking is when a model learns to score well on a test without doing the job the test was meant to measure. The group says it will have access to a handful of models, including at least one that has not been released, and to the written reasoning steps produced by the models.
METR gaat afwijkend gedrag beoordelen in wat het bedrijf de grootste reinforcement learning-test tot nu toe noemt. Reinforcement learning is een trainingsmethode die een model beloont voor antwoorden die goed scoren. Een tweede evaluatie van de monitoringsystemen van het bedrijf wacht nog op overeenstemming tussen beide partijen over de reikwijdte. Het bedrijf merkte op dat de eerste evaluatie beperkter is dan een breder onderzoek naar afwijkend gedrag dat dezelfde groep heeft voorgesteld.
A fourth group will watch model training sessions from the inside and publish findings as the work goes on. Goodfire will send interpretability researchers to work at OpenAI and will use its own tools to inspect a model’s inner workings, rather than judging it only by what it says. The company says the main audience for this work is its own researchers.
Wil je dat AI je wekelijks uren bespaart? Ons gratis stappenplan laat je zien hoe.Download de gratis gids →Wat ze wel en niet zullen kunnen zien
The access is wide on paper. Assessors can be given saved copies of models from during training, source code, training and evaluation data, monitoring systems, technical documents and conversations with staff, plus the tools and computing power to run their own tests. People who need sensitive information will work in the company’s offices, on company devices.
De beperkingen zijn net zo belangrijk als de toegang zelf. Apollo Research zegt dat de pilot nog niet voldoet aan hun eigen criteria voor volledige toegang en openbaarmaking. Het voldoet echter wel aan de norm van de groep voor het recht om publiekelijk uit te leggen wat wel en niet mocht worden ingezien en gepubliceerd. “Deze pilot is een ambitieuze eerste stap naar ruimere rechten op toegang en openbaarmaking, ook al voldoet hij nog niet aan de bovenstaande criteria”, schreef de groep.
The company may withhold some information that falls within the agreed scope if it decides that is reasonably necessary for technical reasons, security, or to protect intellectual property. It has agreed not to withhold material simply because a finding is unfavourable, and to give written reasons when it refuses access. It also chooses which staff the assessors may interview. Formal talks with staff cannot be quoted unless the company attests to a statement that can be published. The on-site team from Apollo Research will not have default access to the company’s general staff message channels.
Both Apollo Research and Transluce will write public reports, and the company can ask for confidential material to be removed before publication. It may not remove Apollo Research’s verdict on each claim, or demand deletions just because a finding is unfavourable. It can still remove evidence that it treats as sensitive intellectual property, even when that evidence supports a conclusion. Readers of the public reports may therefore be unable to check all of the evidence behind a published finding. Transluce says it cannot publish results that relate only to unreleased models, so its public report will cover released models only. It also said the access in this pilot is not comparable to employee-level access.
De niet-geanonimiseerde rapporten worden voorgelegd aan de Veiligheidscommissie, een onafhankelijke commissie van het bestuur van de OpenAI Foundation. De beoordelaars en de commissie kunnen in beslotenheid met elkaar overleggen. Als het bedrijf en een beoordelaar het niet eens zijn, kan de kwestie aan die commissie worden voorgelegd. Apollo Research en Goodfire worden betaald voor hun werk. Het bedrijf geeft aan dat de betaling niet afhankelijk is van de resultaten. METR en Transluce ontvangen geen vergoeding, maar mogelijk wel computercredits.
Waarom dit nu gebeurt
The company said the new assessments also build on its investigation of a July security incident at a major site that hosts AI models. In ons eerdere bericht hebben we de daaropvolgende klacht van de staat behandeld. The company also said the work supports its commitments under an American government agreement on advanced AI, referred to there as super intelligence, in which it agreed to independent assessments of its safety controls.
Transluce has already agreed with the company that it intends to return in early 2027 for a longer, deeper review, lasting about eight weeks. The company says it expects this first phase to lead to longer-term work of the same kind, with outside researchers remaining on site, and that it is exploring future reviews of how it follows its own safety rules, as well as of its culture and processes.
Waarom het belangrijk is: Externe onderzoekers toegang geven tot een toonaangevend AI-laboratorium is een duidelijkere vorm van controle dan een eenmalige test vlak voor een lancering. De maatschappelijke waarde van dat werk zal afhangen van wat de onderzoeksgroepen mogen zien en publiceren, en twee van hen hebben die grenzen al gedetailleerd vastgelegd.


