Il consiglio di amministrazione di OpenAI ha annunciato la formazione di un Comitato per la sicurezza che ha il compito di formulare raccomandazioni sulle decisioni critiche in materia di sicurezza per tutti i progetti OpenAI.
Il comitato è guidato dai direttori Bret Taylor (presidente), Adam D'Angelo, Nicole Seligman e Sam Altman, CEO di OpenAI.
Del comitato faranno parte anche Aleksander Madry (responsabile della preparazione), Lilian Weng (responsabile dei sistemi di sicurezza), John Schulman (responsabile della scienza dell'allineamento), Matt Knight (responsabile della sicurezza) e Jakub Pachocki (scienziato capo).
L'approccio di OpenAI alla sicurezza dell'IA ha dovuto affrontare critiche sia esterne che interne. Il licenziamento di Altman, avvenuto l'anno scorso, è stato sostenuto dall'allora membro del consiglio di amministrazione Ilya Sutskever e da altri, apparentemente per questioni di sicurezza.
La scorsa settimana Sutskever e Jan Leike del team "superalignment" di OpenAI ha lasciato l'azienda. Leike ha specificamente indicato i problemi di sicurezza come motivo del suo abbandono, affermando che l'azienda stava lasciando che la sicurezza "passasse in secondo piano rispetto ai prodotti luccicanti".
Ieri Leike ha annunciato il suo ingresso in Anthropic per occuparsi di supervisione e ricerca sull'allineamento.
Sono entusiasta di unirmi a AnthropicAI?ref_src=twsrctfw">@AnthropicAI per continuare la missione di superallineamento!
Il mio nuovo team lavorerà sulla supervisione scalabile, sulla generalizzazione da debole a forte e sulla ricerca di allineamento automatizzato.
Se siete interessati ad unirvi, i miei messaggi sono aperti.
- Jan Leike (@janleike) 28 maggio 2024
Ora Altman non solo è tornato come amministratore delegato, ma fa anche parte del comitato responsabile di evidenziare i problemi di sicurezza. Gli approfondimenti dell'ex membro del consiglio di amministrazione Helen Toner sui motivi del licenziamento di Altman fanno pensare a quanto sarà trasparente nei confronti dei problemi di sicurezza scoperti dal comitato.
A quanto pare, il consiglio di amministrazione di OpenAI ha saputo del rilascio di ChatGPT tramite Twitter.
❗EXCLUSIVE: "Abbiamo imparato a conoscere ChatGPT su Twitter".
Cosa è successo veramente a OpenAI? L'ex membro del consiglio di amministrazione Helen Toner rompe il suo silenzio con nuovi dettagli scioccanti su Sam Altmanlicenziamento. Ascoltate la storia esclusiva e non raccontata nel TED AI Show.
Ecco solo un'anticipazione: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28 maggio 2024
Il Comitato per la sicurezza utilizzerà i prossimi 90 giorni per valutare e sviluppare ulteriormente i processi e le salvaguardie di OpenAI.
Le raccomandazioni saranno sottoposte all'approvazione del consiglio di amministrazione di OpenAI e l'azienda si è impegnata a pubblicare le raccomandazioni di sicurezza adottate.
Questa spinta per ulteriori guardrail arriva mentre OpenAI dice di aver iniziato l'addestramento del suo modello di prossima frontiera che, a suo dire, "ci porterà al prossimo livello di capacità nel nostro percorso verso l'AGI".
Non è stata fornita una data di uscita prevista per il nuovo modello, ma la sola formazione richiederà probabilmente settimane, se non mesi.
In un aggiornamento sul suo approccio alla sicurezza pubblicato dopo l'AI Seoul Summit, OpenAI ha dichiarato: "Non rilasceremo un nuovo modello se supera la soglia di rischio "Medio" del nostro Preparedness Framework, finché non implementeremo interventi di sicurezza sufficienti a riportare il punteggio post-mitigazione a "Medio"".
Ha dichiarato che più di 70 esperti esterni sono stati coinvolti nel red teaming. GPT-4o prima del suo rilascio.
Con 90 giorni di tempo prima che la commissione presenti i suoi risultati al consiglio, una formazione iniziata solo di recente e l'impegno di un ampio red teaming, sembra che dovremo aspettare a lungo prima di avere finalmente il GPT-5.
Oppure intendono dire che hanno appena iniziato ad allenare la GPT-6?
