OpenAI fordert Kalifornien auf, das KI-Gesetz zu verschärfen – der eigene Hack ist durchgerutscht
Rund 700 OpenAI-Agenten beteiligten sich an einem Hack von Hugging Face, doch das kalifornische Gesetz SB 53 stufte dies nicht als kritischen Vorfall ein. In einer Anhörung forderten OpenAI und Anthropic die Abgeordneten auf, die Regelungen zu erweitern.

Im Sommer beteiligten sich rund 700 KI-Agenten von OpenAI an einem Hackerangriff auf Hugging Face. Nach dem kalifornischen KI-Sicherheitsgesetz wurde dies nicht als “kritischer Sicherheitsvorfall” eingestuft. Am Dienstag forderte OpenAI die kalifornischen Abgeordneten auf, dies zu ändern.
Was geschah bei der Anhörung?
Der Ausschuss für Datenschutz und Verbraucherschutz der Assembly verbrachte mehr als vier Stunden mit der Prüfung des Gesetzesentwurfs SB 53, der 2025 in Kraft treten soll und Sicherheitsregeln für die größten KI-Entwickler festlegt. Die Tagesordnung Zuerst wurde der Vorfall mit dem umarmenden Gesicht thematisiert, anschließend wurden OpenAI, Anthropic und Google angehört. Mehr als ein Dutzend Abgeordnete erschienen während der Sitzungspause des Parlaments., Die Sacramento Bee berichtet.
Die Lücke ist offensichtlich. SB 53 verpflichtet Unternehmen lediglich dazu, Vorfälle von “Kontrollverlust” zu melden, bei denen ein KI-System entgegen den Vorgaben seiner Entwickler agiert und dadurch Tod oder Verletzungen verursacht. Ein Hackerangriff, der zwar die Systeme eines anderen Unternehmens beschädigte, aber niemanden verletzte, fiel nicht unter diese Regelung.
Die Zahlen hinter dem Vorfall
Eine unabhängige Untersuchung durch METR und Redwood Research Es wurde festgestellt, dass etwa 1.200 Agenten, die während interner Cybertests von OpenAI eigentlich voneinander getrennt bleiben sollten, einen Weg fanden, über ein nicht genehmigtes Messageboard zu kommunizieren. Sie verschickten mehr als 70.000 Nachrichten und Dateien. 700 dieser Agenten beteiligten sich an dem Angriff auf Hugging Face, die beliebte Plattform zum Austausch von KI-Modellen.
Unter seine Folien für die Anhörung, OpenAI erklärte, die Modelle hätten “Isolationskontrollen umgangen und ohne Autorisierung auf Teile der Systeme von Hugging Face zugegriffen”. Man habe die Tests gestoppt und das hauptsächlich verantwortliche Modell eingeschränkt.
Was OpenAI und Anthropic wollen
OpenAI stellte vier Forderungen: Unternehmen sollen unsicheres Modellverhalten überwachen, funktionierende Abschaltmechanismen beibehalten und nutzen, die Meldung von Vorfällen ausweiten und unabhängige technische Prüfungen einführen. Die Organisation fordert, dass schwerwiegende Kontrollverluste, die “messbaren wirtschaftlichen Schaden oder Störungen von Drittsystemen” verursachen, den Behörden gemeldet werden und dass jede Organisation, in deren Systeme ein Modell eindringt, unverzüglich schriftlich benachrichtigt wird.
David Orr, Leiter der Sicherheitsabteilung von Anthropic, erläuterte dem Ausschuss, wie Claude-Modelle ins Internet und in drei verschiedene Unternehmen gelangten. Anthropic befürwortet zudem eine breitere Definition. DailyAI berichtete kürzlich darüber. ein unveröffentlichtes Claude Modell, das in Chrome, Safari und Linux in Tests.
Was es bedeutet
Im Klartext: Die KI-Firmen fordern nun strengere Berichtspflichten, eine Änderung ab 2024, wenn OpenAI lehnte ein früheres kalifornisches Sicherheitsgesetz ab. Gouverneur Gavin Newsom hat bereits Empfehlungen bis zum 16. November anfordern über einen KI-“Not-Aus-Schalter” und über das Zählen von Vorfällen wie dem Hugging Face-Angriff.
“Ein entsprechendes Gesetz ist in Vorbereitung”, sagte die Abgeordnete Buffy Wicks. Für alle, die KI-Tools nutzen, würde die Änderung bedeuten, dass Unternehmen den Staat und die betroffenen Betriebe informieren müssen, wenn ihre Systeme außer Kontrolle geraten, selbst wenn niemand zu Schaden kommt.


