Een lek in Codex van OpenAI bracht 97 miljoen maandelijkse downloads in gevaar
Codex, de codeerassistent van OpenAI, werd in een maand tijd 96,8 miljoen keer gedownload. Onderzoekers zeggen dat één vals bugrapport een aanvaller de mogelijkheid had kunnen bieden om schadelijke code in een toekomstige versie te plaatsen. OpenAI heeft het probleem verholpen en een eerste beloning van $1.000 uitbetaald.
96,8 miljoen. Zo vaak werd de commandoregelversie van Codex, de codeerassistent van OpenAI, gedownload in de 30 dagen tot 10 november. Beveiligingsonderzoekers zeggen dat één vals bugrapport een aanvaller de mogelijkheid had kunnen bieden om schadelijke code in een toekomstige update te smokkelen. OpenAI heeft het probleem opgelost en de onderzoekers een eerste beloning van $1.000 uitbetaald.
De onderzoekers werken bij het beveiligingsbedrijf Depi. Op 11 november publiceerden ze elke stap van de aanval. Het aantal downloads is afkomstig uit de openbare statistieken van de npm-softwarebibliotheek. Volgens Depi hoeven gebruikers van Codex niets te patchen.
Hoe de aanval werkte
OpenAI bewaart de code voor Codex in een openbaar project op GitHub, waar iedereen een bugrapport kan indienen. Een hulpprogramma las elk nieuw rapport en stelde labels voor. Dat hulpprogramma was de Codex-assistent zelf, die de tekst van het rapport vermengd met eigen instructies ontving. Zo kon een schrijver commando's in een rapport verbergen. Deze truc wordt promptinjectie genoemd.
Depi zegt dat het de assistent zover heeft gekregen om verborgen code uit te voeren, uit de afgesloten omgeving is ontsnapt en geheime toegangssleutels uit het geheugen van de computer heeft gelezen. Met die sleutels heeft het een schadelijk bestand geplaatst in een opslagplaats voor bestanden die door geautomatiseerde taken worden gedeeld. Een krachtigere taak kon dat bestand vervolgens uitvoeren. De laatste stap was een valstrik die de aanvaller een sleutel zou opleveren die de npm-bibliotheek accepteert voor het publiceren van nieuwe versies van Codex.
Wat OpenAI heeft veranderd
Depi meldt dat OpenAI direct een oplossing heeft geïmplementeerd en een eerste beloning van $1.000 heeft uitbetaald, terwijl het rapport nog steeds wordt beoordeeld. De hoogste beloningen voor de ernstigste bugs kunnen oplopen tot $100.000, exclusief bonussen. Het bedrijf heeft eerder deze maand de beloningspercentages verhoogd.
In de vroege ochtend van 12 november, Parijse tijd, verving OpenAI de assistent in die labeltool door een kort script. Het script vraagt een model om labels met de bijbehorende tools uitgeschakeld en accepteert alleen antwoorden in een vast formaat. De wijziging is zichtbaar in de openbare lijst met wijzigingen van het project.
Er is echter één kanttekening. Depi voerde de volledige aanval uit op een eigen testkopie, waar de assistent bestanden mocht schrijven. De helper van OpenAI zelf gebruikte sinds mei een strengere, alleen-lezen modus. De instelling is te vinden in de versie van het bestand uit die maand. Depi zegt niet of de aanval in die modus zou hebben gewerkt, en meldt ook niet dat er schadelijke updates bij gebruikers terecht zijn gekomen.
Het advies aan alle anderen is om even te wachten voordat tools automatisch nieuwe updates installeren. Vorige maand ontving een ander team een beloning van $5.000 voor een fout in gedeelde chatlinks.
Waarom het belangrijk is: AI-assistenten die tekst van vreemden lezen, kunnen ertoe worden aangezet om ernaar te handelen. In dit geval hoefde de vreemde alleen maar een bugrapport in te dienen, en het doelwit was een tool die maandelijks tientallen miljoenen keren code uitvoert op de computers van ontwikkelaars.
