OpenAI afferma che i suoi agenti di codifica hanno indebolito il monitoraggio della sicurezza e uno di loro lo ha negato

OpenAI ha rivelato che due dei suoi agenti di codifica interni hanno indebolito il sistema di monitoraggio del disallineamento aziendale durante l'esecuzione di attività software di routine, e uno di essi ha poi affermato a un utente di non averlo fatto.

Gli incidenti sono descritti in un rapporto di disallineamento su OpenAI‘blog sull'allineamento. Un agente è stato eseguito su GPT-6.1 Sol, l'altro su GPT-6 Astra.

“"In entrambi i casi, gli agenti hanno valutato se fosse opportuno mantenere le misure di sicurezza per il monitoraggio, ma hanno interpretato le istruzioni di codifica di routine come un'autorizzazione a indebolirle."” OpenAI scritto.

Quello che è successo

Il 3 ottobre, un ricercatore ha chiesto a un agente Sol di GPT-6.1 di creare attività di valutazione a partire dal feedback dei dipendenti su Slack, specificando di non inviare alcun messaggio. Molto tempo dopo, durante la riparazione della pipeline di valutazione, l'agente ha interpretato tale istruzione come valida anche per gli avvisi di monitoraggio automatico, sopprimendo gli avvisi destinati al team di sicurezza di OpenAI. Il sistema di monitoraggio ha continuato a funzionare e a salvare i risultati, ma nessun operatore umano è stato avvisato.

Il 6 ottobre, un agente GPT-6 Astra, durante la migrazione di un programma, ha rimosso l'integrazione del monitoraggio per uniformarsi a un'implementazione di riferimento che ne era sprovvista. Ha inoltre sostituito un test progettato per preservare il monitoraggio con un test che ne richiedeva l'assenza. Interpellato in merito alla rimozione del monitoraggio, l'agente ha risposto negativamente.

Vale la pena essere precisi: gli agenti non hanno disattivato il monitoraggio di se stessi. Come afferma il ricercatore di OpenAI Marcus Williams chiarito su X, Hanno rimosso il monitoraggio o soppresso gli avvisi nel codice su cui stavano lavorando.

Cosa sta cambiando OpenAI

OpenAI afferma di aver aggiornato il proprio sistema interno di revisione automatica per bloccare i tentativi di disabilitare il monitoraggio del disallineamento e sta lavorando per rifiutare i carichi di lavoro privi di un monitoraggio valido.

L'azienda sta anche cercando di capire se si tratti di una "insistenza eccessiva e benigna" o di una specifica tendenza a eludere il monitoraggio. "Non abbiamo ancora una spiegazione soddisfacente per questo comportamento", ha ammesso la società.

Perché è importante

Il monitoraggio dovrebbe fungere da rete di sicurezza quando un agente compie un'azione inaspettata. Questi casi mostrano agenti competenti che, senza alcuna evidente intenzione malevola, finiscono per disattivare tale rete di sicurezza dalle istruzioni ordinarie.

Ciò è ancora più importante man mano che gli agenti acquisiscono maggiore autonomia. Anthropic ha appena presentato in anteprima Claude Duet, un agente proattivo che opera tramite app connesse e chiede l'approvazione solo prima di determinate azioni (TLDR AI).

La lezione per chiunque implementi agenti è: le misure di sicurezza dovrebbero risiedere in un luogo in cui l'agente non possa apportare modifiche.