Zum Inhalt springen
Dienstag, 17. November 2026Kostenloser Leitfaden
DE
dailyai
Eigenschaften

OpenAI lässt vier externe Labore seine Modelle vor Ort überprüfen

Vier unabhängige Forschungsgruppen werden innerhalb von OpenAI testen, ob die Modelle während des Trainings und der privaten Nutzung unter Kontrolle bleiben. Zwei der Gruppen haben bereits Beschränkungen für die von ihnen eingesehenen und veröffentlichten Daten festgelegt.

• 5 Minuten Lesezeit
AktieXin

Vier unabhängige Forschungsgruppen werden nun innerhalb von OpenAI arbeiten und testen, ob die Modelle auch während des Trainings und der privaten Nutzung unter Kontrolle bleiben. Die Gruppen sind Apollo Research, METR, Transluce und Goodfire.

Das Unternehmen veröffentlichte die Vereinbarungen am 16. November. Diese Vorgehensweise wird als eingebettete Bewertung bezeichnet. Das bedeutet, dass externe Spezialisten für einen vereinbarten Zeitraum Zugriff auf einige der internen Modelle, Daten und Tools erhalten, die auch die firmeneigenen Forscher nutzen. Ziel ist es, die Übereinstimmung zu überprüfen, also ob ein Modell die beabsichtigte Funktion erfüllt und ob die internen Sicherheitsvorkehrungen im Falle einer Abweichung greifen würden.

Was die vier Gruppen tun werden

Ein viermonatiges Pilotprojekt vor Ort wird von einem sechsköpfigen Team durchgeführt. That team, from Apollo Research, will test whether the AI systems try to get around their own safety controls, or those of later systems. Subversion, here, means secretly working against the instructions of the people who built the system.

The group will examine four claims, in two stages: that model training did not encourage this behaviour; that tough tests do not bring it out; that it has not appeared during internal use; and that the reasoning behind it would be spotted. The first public report will cover incentives in model training. The second will cover tests, internal use, and whether that reasoning would be detectable.

Eine sechswöchige Überprüfung der Tests nach dem Training soll Anfang Dezember beginnen. Transluce, a nonprofit research lab, will look at how well those tests pick up behaviours such as deception, manipulation and reward hacking. Reward hacking is when a model learns to score well on a test without doing the job the test was meant to measure. The group says it will have access to a handful of models, including at least one that has not been released, and to the written reasoning steps produced by the models.

METR soll Fehlverhalten im Rahmen des bisher größten Reinforcement-Learning-Projekts des Unternehmens analysieren. Reinforcement Learning ist eine Trainingsmethode, die ein Modell für gute Ergebnisse belohnt. Eine zweite Überprüfung der Überwachungssysteme des Unternehmens wartet noch auf die Einigung beider Seiten hinsichtlich des Umfangs. Das Unternehmen merkte an, dass die erste dieser Überprüfungen einen engeren Fokus hat als eine umfassendere Untersuchung von Fehlverhalten, die dieselbe Gruppe vorgeschlagen hat.

A fourth group will watch model training sessions from the inside and publish findings as the work goes on. Goodfire will send interpretability researchers to work at OpenAI and will use its own tools to inspect a model’s inner workings, rather than judging it only by what it says. The company says the main audience for this work is its own researchers.

Wollen Sie, dass KI Ihnen wöchentlich Stunden spart? Unser kostenloses Handbuch zeigt Ihnen, wie.Holen Sie sich den kostenlosen Leitfaden →

Was sie sehen werden und was nicht.

The access is wide on paper. Assessors can be given saved copies of models from during training, source code, training and evaluation data, monitoring systems, technical documents and conversations with staff, plus the tools and computing power to run their own tests. People who need sensitive information will work in the company’s offices, on company devices.

Die Grenzen sind genauso wichtig wie der Zugang. Apollo Research erklärt, dass das Pilotprojekt die eigenen Kriterien für vollständigen Zugang und uneingeschränkte Offenlegung noch nicht erfüllt. Es erfüllt jedoch den Standard der Gruppe für das Recht, öffentlich zu erläutern, was eingesehen und veröffentlicht werden durfte und was nicht. “Dieses Pilotprojekt ist ein ambitionierter erster Schritt hin zu umfassenderen Zugangs- und Offenlegungsrechten, auch wenn es die oben genannten Kriterien noch nicht vollständig erfüllt”, so die Gruppe.

The company may withhold some information that falls within the agreed scope if it decides that is reasonably necessary for technical reasons, security, or to protect intellectual property. It has agreed not to withhold material simply because a finding is unfavourable, and to give written reasons when it refuses access. It also chooses which staff the assessors may interview. Formal talks with staff cannot be quoted unless the company attests to a statement that can be published. The on-site team from Apollo Research will not have default access to the company’s general staff message channels.

Both Apollo Research and Transluce will write public reports, and the company can ask for confidential material to be removed before publication. It may not remove Apollo Research’s verdict on each claim, or demand deletions just because a finding is unfavourable. It can still remove evidence that it treats as sensitive intellectual property, even when that evidence supports a conclusion. Readers of the public reports may therefore be unable to check all of the evidence behind a published finding. Transluce says it cannot publish results that relate only to unreleased models, so its public report will cover released models only. It also said the access in this pilot is not comparable to employee-level access.

Ungeschwärzte Berichte werden dem Sicherheitsausschuss vorgelegt, einem unabhängigen Gremium des Vorstands der OpenAI Foundation. Die Gutachter und der Ausschuss können sich vertraulich austauschen. Bei Meinungsverschiedenheiten zwischen dem Unternehmen und einem Gutachter kann der Ausschuss eingeschaltet werden. Apollo Research und Goodfire erhalten eine Vergütung für ihre Arbeit. Laut Unternehmen ist diese Vergütung ergebnisunabhängig. METR und Transluce erhalten keine Gebühr, können aber Rechenguthaben erhalten.

Warum das jetzt passiert

The company said the new assessments also build on its investigation of a July security incident at a major site that hosts AI models. Unser vorheriger Bericht behandelt die anschließende staatliche Beschwerde. The company also said the work supports its commitments under an American government agreement on advanced AI, referred to there as super intelligence, in which it agreed to independent assessments of its safety controls.

Transluce has already agreed with the company that it intends to return in early 2027 for a longer, deeper review, lasting about eight weeks. The company says it expects this first phase to lead to longer-term work of the same kind, with outside researchers remaining on site, and that it is exploring future reviews of how it follows its own safety rules, as well as of its culture and processes.

Warum das wichtig ist: Externen Forschern die Mitarbeit in einem führenden KI-Labor zu ermöglichen, ist eine transparentere Form der Überprüfung als ein einmaliger Test kurz vor der Markteinführung. Der öffentliche Nutzen dieser Arbeit hängt davon ab, welche Daten den Forschergruppen zugänglich gemacht und welche veröffentlicht werden dürfen. Zwei dieser Gruppen haben diese Grenzen bereits detailliert festgelegt.