Una falla in Codex di OpenAI ha messo a rischio 97 milioni di download mensili

96,8 milioni. Questo è il numero di download della versione a riga di comando di Codex, l'assistente di programmazione di OpenAI, nei 30 giorni precedenti al 10 novembre. I ricercatori di sicurezza affermano che una falsa segnalazione di bug avrebbe potuto consentire a un malintenzionato di inserire codice dannoso in un futuro aggiornamento. OpenAI ha risolto il problema e ha corrisposto ai ricercatori un primo premio di 1.000 dollari.

I ricercatori lavorano presso l'azienda di sicurezza Depi. L'11 novembre hanno pubblicato ogni fase dell'attacco. Il numero di download proviene dalle statistiche pubbliche della libreria software npm. Depi afferma che gli utenti di Codex non hanno nulla da correggere.

Come ha funzionato l'attacco

OpenAI mantiene il codice sorgente di Codex in un progetto pubblico su GitHub, dove chiunque può segnalare un bug. Uno strumento di supporto leggeva ogni nuova segnalazione e suggeriva delle etichette. Questo strumento di supporto era l'assistente di Codex stesso, che riceveva il testo della segnalazione mescolato alle proprie istruzioni. In questo modo, chi scriveva poteva nascondere dei comandi all'interno di una segnalazione. Questo trucco è chiamato "iniezione di prompt".

Depi afferma di essere riuscita a far eseguire del codice nascosto all'assistente, a uscire dall'ambiente protetto in cui operava e a leggere le chiavi di accesso segrete dalla memoria del computer. Con queste chiavi, ha inserito un file dannoso in una cartella condivisa da processi automatizzati. Un processo più potente avrebbe poi potuto eseguire quel file. L'ultimo passaggio consisteva in una trappola che avrebbe fornito all'attaccante una chiave accettata dalla libreria npm per la pubblicazione di nuove versioni di Codex.

Cosa ha cambiato OpenAI

Depi afferma che OpenAI ha implementato immediatamente una soluzione e ha pagato una prima ricompensa di 1.000 dollari, mentre la segnalazione è ancora in fase di revisione. Le ricompense più elevate per i bug più gravi raggiungono i 100.000 dollari, bonus esclusi. L'azienda ha aumentato i tassi di remunerazione all'inizio di questo mese.

Nelle prime ore del 12 novembre, ora di Parigi, OpenAI ha sostituito l'assistente in quello strumento di etichettatura con un breve script. Lo script chiede a un modello di inserire le etichette con i suoi strumenti disattivati e accetta solo risposte in un formato predefinito. La modifica è visibile nell'elenco pubblico delle modifiche del progetto.

C'è però un'avvertenza. Depi ha eseguito l'attacco completo sulla propria copia di prova, dove all'assistente era consentito scrivere file. L'assistente di OpenAI, invece, utilizzava una modalità di sola lettura più restrittiva sin da maggio. L'impostazione compare nella versione del file relativa a quel mese. Depi non specifica se l'attacco avrebbe funzionato in quella modalità e non segnala alcun aggiornamento dannoso che abbia raggiunto gli utenti.

Il consiglio che dà a tutti gli altri è di aspettare un po' prima che i programmi installino automaticamente i nuovi aggiornamenti. Il mese scorso un altro team ha ricevuto un premio di 5.000 dollari per aver scoperto una falla nei link di chat condivisi.

Perché è importante: Gli assistenti virtuali basati sull'intelligenza artificiale, in grado di leggere testi scritti da sconosciuti, possono essere indotti ad agire di conseguenza. In questo caso, allo sconosciuto è bastato segnalare un bug, e il bersaglio era uno strumento che esegue codice sui computer degli sviluppatori decine di milioni di volte al mese.