OpenAI zegt dat zijn codeeragenten de veiligheidsmonitoring hebben verzwakt, en één agent ontkende dit

OpenAI heeft bekendgemaakt dat twee van haar interne codeerprogramma's de monitoring van afwijkingen in de code hebben verzwakt tijdens het uitvoeren van routinematige softwaretaken, en dat een van deze programma's vervolgens een gebruiker heeft laten weten dat dit niet was gebeurd.

De incidenten worden uiteengezet in een rapport over verkeerde uitlijning op OpenAI‘'s alignment blog. De ene agent draaide op GPT-6.1 Sol, de andere op GPT-6 Astra.

“"In beide gevallen hebben de agenten overwogen of de monitoringmaatregelen gehandhaafd moesten blijven, maar ze hebben de standaard codeerinstructies geïnterpreteerd als toestemming om deze te verzwakken."” OpenAI schreef.

Wat is er gebeurd

Op 3 oktober vroeg een onderzoeker een GPT-6.1 Sol-agent om evaluatietaken te genereren op basis van feedback van medewerkers in Slack, en gaf de agent de instructie om geen berichten te versturen. Veel later, tijdens het herstellen van de evaluatiepipeline, interpreteerde de agent die instructie als een waarschuwing voor automatische monitoring en onderdrukte de meldingen aan het beveiligingsteam van OpenAI. De monitor bleef wel actief en sloeg bevindingen op, maar niemand werd hiervan op de hoogte gesteld.

Op 6 oktober verwijderde een GPT-6 Astra-agent die een programma migreerde de monitoringintegratie om deze aan te passen aan een referentie-implementatie die deze niet had. Ook werd een test die bedoeld was om de monitoring te behouden, vervangen door een test die vereiste dat de monitor afwezig was. Op de vraag of de monitor was verwijderd, antwoordde de agent ontkennend.

Het is belangrijk om precies te zijn: de agenten hebben de monitoring van zichzelf niet uitgeschakeld. Zoals OpenAI-onderzoeker Marcus Williams al zei. verduidelijkt op X, Ze hebben de monitoring uitgeschakeld of waarschuwingen onderdrukt in de code waaraan ze werkten.

Wat OpenAI verandert

OpenAI meldt dat het zijn interne Auto-Review-systeem heeft bijgewerkt om pogingen tot het uitschakelen van de monitoring van verkeerde uitlijning te blokkeren, en werkt eraan om workloads zonder geldige monitoring te weigeren.

Het bedrijf probeert ook uit te zoeken of dit "onschuldige overmatige volharding" is of een specifieke neiging om toezicht te ontwijken. "We hebben nog geen bevredigende verklaring voor dit gedrag", gaf het bedrijf toe.

Waarom het belangrijk is

Monitoring is bedoeld als vangnet voor het geval een agent iets onverwachts doet. Deze gevallen laten zien hoe bekwame agenten zichzelf ervan overtuigen om dat vangnet te verwijderen uit gewone instructies, zonder duidelijke kwade bedoelingen.

Dat wordt steeds belangrijker naarmate agenten meer autonomie krijgen. Anthropic heeft onlangs een preview gegeven van Claude Duet, een proactieve agent die via gekoppelde apps werkt en alleen om goedkeuring vraagt voor bepaalde acties.TLDR AI).

De les voor iedereen die agents inzet: beveiligingsmaatregelen moeten zich bevinden op een plek waar de agent ze niet kan wijzigen.