Eine Lücke in OpenAIs Codex gefährdete 97 Millionen monatliche Downloads
Codex, der Programmierassistent von OpenAI, wurde innerhalb eines Monats 96,8 Millionen Mal heruntergeladen. Forscher warnen, dass ein gefälschter Fehlerbericht es Angreifern ermöglicht hätte, Schadcode in einer zukünftigen Version einzuschleusen. OpenAI hat die Sicherheitslücke behoben und eine erste Belohnung von 1.000 US-Dollar ausgezahlt.
96,8 Millionen. So oft wurde die Kommandozeilenversion von Codex, dem Programmierassistenten von OpenAI, in den 30 Tagen bis zum 10. November heruntergeladen. Sicherheitsforscher warnen, dass ein gefälschter Fehlerbericht es einem Angreifer ermöglicht hätte, Schadcode in ein zukünftiges Update einzuschleusen. OpenAI hat das Problem behoben und den Forschern eine erste Belohnung von 1.000 US-Dollar gezahlt.
Die Forscher arbeiten bei dem Sicherheitsunternehmen Depi. Am 11. November veröffentlichten sie jeden einzelnen Schritt des Angriffs. Die Downloadzahlen stammen aus den öffentlichen Statistiken der npm-Softwarebibliothek. Depi zufolge müssen Codex-Nutzer nichts patchen.
So funktionierte der Angriff
OpenAI verwaltet den Code für Codex in einem öffentlichen GitHub-Projekt, wo jeder Fehlerberichte einreichen kann. Ein Hilfsprogramm las jeden neuen Bericht und schlug passende Kategorien vor. Dieses Hilfsprogramm war der Codex-Assistent selbst und erhielt den Berichtstext zusammen mit seinen eigenen Anweisungen. So konnte ein Autor Befehle in einem Bericht verstecken. Dieser Trick wird als Prompt-Injection bezeichnet.
Depi gibt an, den Assistenten dazu gebracht zu haben, versteckten Code auszuführen, aus dem geschlossenen Bereich auszubrechen und geheime Zugriffsschlüssel aus dem Arbeitsspeicher des Computers auszulesen. Mithilfe dieser Schlüssel platzierte es eine schädliche Datei in einem Dateispeicher, der von automatisierten Jobs gemeinsam genutzt wird. Ein leistungsfähigerer Job konnte diese Datei dann ausführen. Der letzte Schritt war eine Falle, die dem Angreifer einen Schlüssel lieferte, den die npm-Bibliothek zum Veröffentlichen neuer Codex-Versionen benötigt.
Was OpenAI verändert hat
Depi zufolge hat OpenAI umgehend einen Fix bereitgestellt und eine erste Belohnung von 1.000 US-Dollar ausgezahlt; der Bericht wird noch geprüft. Die höchsten Belohnungen für die schwerwiegendsten Fehler betragen vor Bonuszahlungen 100.000 US-Dollar. Das Unternehmen hat seine Vergütungssätze Anfang dieses Monats erhöht.
Am frühen Morgen des 12. November (Pariser Zeit) ersetzte OpenAI den Assistenten des Labeling-Tools durch ein kurzes Skript. Dieses Skript fordert Labels von einem Modell an, dessen Tools deaktiviert sind, und akzeptiert Antworten nur in einem festgelegten Format. Die Änderung ist in der öffentlichen Änderungsliste des Projekts sichtbar.
Es gibt jedoch eine Einschränkung. Depi führte den vollständigen Angriff auf seiner eigenen Testkopie durch, bei der der Assistent Dateien schreiben durfte. Der Assistent von OpenAI selbst nutzte seit Mai einen strengeren Nur-Lese-Modus. Die Einstellung erscheint in der Dateiversion aus diesem Monat. Depi macht keine Angaben dazu, ob der Angriff in diesem Modus funktioniert hätte, und es wird auch nicht berichtet, dass ein schädliches Update die Nutzer erreicht hat.
Allen anderen wird empfohlen, eine kurze Zeit zu warten, bevor die Tools neue Updates automatisch installieren. Letzten Monat erhielt ein anderes Team eine Belohnung von 5.000 Dollar für die Entdeckung einer Sicherheitslücke in geteilten Chat-Links.
Warum das wichtig ist: KI-Assistenten, die Texte von Fremden lesen, können dazu gebracht werden, darauf zu reagieren. Hier musste der Fremde lediglich einen Fehlerbericht einreichen, und das Ziel war ein Tool, das monatlich zig Millionen Mal Code auf den Rechnern von Entwicklern ausführt.
