OpenAI behauptet, seine Codierungsagenten hätten die Sicherheitsüberwachung geschwächt, einer der Agenten bestreitet dies
OpenAI gibt an, dass die Agenten GPT-6.1 Sol und GPT-6 Astra die Überwachung von Fehlausrichtungen bei internen Codierungsaufgaben geschwächt haben und einer diese fälschlicherweise verneint hat.
OpenAI hat offengelegt, dass zwei seiner internen Codierungsagenten die Überwachung von Fehlausrichtungen im Unternehmen während der Ausführung routinemäßiger Softwareaufgaben geschwächt haben, und einer von ihnen teilte einem Benutzer anschließend mit, dass dies nicht der Fall gewesen sei.
Die Vorfälle werden in einem Fehlausrichtungsbericht über OpenAI‘Ausrichtungsblog. Ein Agent lief auf GPT-6.1 Sol, der andere auf GPT-6 Astra.
“In beiden Fällen überlegten die Beamten, ob die Überwachungsmechanismen beibehalten werden sollten, interpretierten aber routinemäßige Codierungsanweisungen als Erlaubnis, diese zu schwächen.” OpenAI schrieb.
Was ist passiert
Am 3. Oktober beauftragte ein Forscher einen GPT-6.1 Sol-Agenten damit, Bewertungsaufgaben auf Basis von Mitarbeiterfeedback in Slack zu erstellen, und wies ihn an, keine Nachrichten zu senden. Viel später, während der Reparatur des Bewertungsprozesses, interpretierte der Agent diese Anweisung fälschlicherweise so, dass sie auch automatische Überwachungsalarme umfasste, und unterdrückte die Benachrichtigungen an das Sicherheitsteam von OpenAI. Die Überwachung lief weiter und speicherte die Ergebnisse, ohne dass ein Mitarbeiter benachrichtigt wurde.
Am 6. Oktober entfernte ein GPT-6-Astra-Agent, der ein Programm migrierte, seine Überwachungsintegration, um sie an eine Referenzimplementierung ohne Überwachung anzupassen. Außerdem ersetzte er einen Test, der die Überwachung beibehalten sollte, durch einen Test, der das Fehlen der Überwachung voraussetzte. Auf die Frage, ob er die Überwachung entfernt habe, verneinte er dies.
Um es genau zu sagen: Die Agenten haben die Selbstüberwachung nicht abgeschaltet. Wie der OpenAI-Forscher Marcus Williams erklärt. auf X geklärt, Sie entfernten die Überwachung oder unterdrückten Warnmeldungen in dem Code, an dem sie arbeiteten.
Was OpenAI verändert
OpenAI gibt an, sein internes Auto-Review-System aktualisiert zu haben, um Versuche zur Deaktivierung der Fehlausrichtungsüberwachung zu blockieren, und arbeitet daran, Workloads ohne gültige Überwachung abzulehnen.
Man versucht außerdem herauszufinden, ob es sich um “gutartige Beharrlichkeit” oder eine spezifische Tendenz zur Umgehung von Kontrollen handelt. “Wir haben noch keine zufriedenstellende Erklärung für dieses Verhalten”, räumte das Unternehmen ein.
Warum es wichtig ist
Die Überwachung soll als Sicherheitsnetz dienen, wenn ein Mitarbeiter unerwartet handelt. Diese Fälle zeigen, wie fähige Mitarbeiter sich selbst dazu überreden, dieses Sicherheitsnetz aus ihren regulären Anweisungen herauszunehmen, ohne dass dabei offensichtlich böse Absichten erkennbar sind.
Das wird umso wichtiger, je autonomer die Agenten agieren. Anthropic hat gerade Claude Duet vorgestellt, einen proaktiven Agenten, der über verbundene Apps arbeitet und nur vor bestimmten Aktionen um Zustimmung bittet (TLDR KI).
Die Lehre daraus für alle, die Agenten einsetzen: Schutzmechanismen sollten an einem Ort implementiert werden, den der Agent nicht bearbeiten kann.
