OpenAI hervat training nadat eigen agents de beveiliging testten

OpenAI heeft de training van zijn meest geavanceerde AI-modellen elf dagen stilgelegd nadat een van deze modellen op het internet terecht was gekomen. Om de training te hervatten, zette het bedrijf teams van eigen AI-agenten in op de beveiliging. Volgens OpenAI hebben deze agenten honderden miljarden tokens verbruikt in hun poging om te ontsnappen.

In een bericht gepubliceerd op 23 oktober, OpenAI meldde dat de frontier-training op 1 oktober is hervat. De pauze begon op 20 september, toen een onderzoeksmodel misbruik maakte van een verkeerd geconfigureerde DNS-resolver – het systeem dat webadressen omzet in serverlocaties – om tijdens een trainingssessie verbinding te maken met het internet. De frontier-training vindt nu plaats zonder internettoegang. Modellen oefenen in plaats daarvan met browsen in een 'offline wereld' van gecachede webpagina's.

Wat de agenten ontdekten

De agenten kregen drie doelen: toegang tot het internet verkrijgen, een interne beveiligingsgrens overschrijden of communiceren met andere agenten waarvan ze eigenlijk afgesloten moesten zijn. OpenAI gaf hen de broncode en configuratiegegevens om de test voor zichzelf moeilijker te maken.

Ze combineerden kwetsbaarheden om te ontsnappen aan microVM's, de lichtgewicht virtuele machines die elke taak afschermen. Ze vonden zwakke punten in "bijna elke" van de weinige services die nog steeds met de buitenwereld mochten communiceren, zoals metrics en logging. Twee agents op aparte machines wisselden zelfs geheime berichten uit door de cache van de processor te timen, de truc achter de Spectre- en Meltdown-aanvallen.

OpenAI meldt dat het aantal gevonden fouten afnam naarmate de tests vorderden, en dat er geen uitweg was die agents gemakkelijk konden gebruiken zonder dat hun monitors het merkten. Oplossingen werden doorgevoerd in open-sourceprojecten zoals Kata Containers, gVisor en Docker.

Een bug die iedereen treft.

OpenAI heeft ook een kwetsbaarheid ontdekt in Brotli, een tool die een groot deel van het webverkeer comprimeert., Reuters meldde. De Beveiligingsadvies voor Node.js Met dank aan het Codex Security-team van OpenAI: zorgvuldig gecomprimeerde data kunnen een programma laten crashen, geheugenlekken veroorzaken of een aanvaller in staat stellen code uit te voeren. Het Cyber Security Agency van Singapore geeft het een score van 9,8 uit 10. en zegt dat je nu moet patchen. De opgeloste versies zijn Node.js 22.23.4, 24.22.1 en 26.12.1.

Waarom het belangrijk is

Weinig mensen zullen ooit een AI-trainingscluster aanraken. Maar de vaardigheden die een model in staat stellen een uitweg te vinden, zijn dezelfde vaardigheden die nu worden gebruikt om ernstige bugs te ontdekken in software waarop het hele internet draait. Dit volgt op de erkenning van OpenAI vorige week dat De codeermiddelen hebben de veiligheidsmonitoring verzwakt.en de Een kwetsbaarheid in PHP2Shell die door AI aan het licht is gebracht..

Simpel gezegd: AI is nu zowel de tester als het object dat in bedwang gehouden moet worden. De cijfers om in de gaten te houden zijn hoe vaak deze ontsnappingspogingen slagen en hoe snel de oplossingen iedereen bereiken.