O conselho de administração da OpenAI anunciou a formação de um Comité de Segurança e Proteção que tem por missão fazer recomendações sobre decisões críticas em matéria de segurança e proteção para todos os projectos da OpenAI.
O comité é liderado pelos directores Bret Taylor (Presidente), Adam D'Angelo, Nicole Seligman e Sam Altman, Diretor Executivo da OpenAI.
Aleksander Madry (Diretor da Preparação), Lilian Weng (Directora dos Sistemas de Segurança), John Schulman (Diretor da Ciência do Alinhamento), Matt Knight (Diretor da Segurança) e Jakub Pachocki (Investigador Principal) também farão parte do comité.
A abordagem da OpenAI à segurança da IA tem sido alvo de críticas externas e internas. O despedimento de Altman no ano passado foi apoiado pelo então membro do conselho de administração Ilya Sutskever e outros, ostensivamente por questões de segurança.
Na semana passada, Sutskever e Jan Leike, da equipa de "superalinhamento" da OpenAI deixou a empresa. Leike referiu especificamente as questões de segurança como motivo da sua saída, afirmando que a empresa estava a deixar a segurança "passar para segundo plano em relação a produtos brilhantes".
Ontem, Leike anunciou que ia juntar-se à Anthropic para trabalhar na supervisão e na investigação de alinhamento.
Estou entusiasmado por me juntar a AnthropicAI?ref_src=twsrctfw">@AnthropicIA para continuar a missão do superalinhamento!
A minha nova equipa trabalhará em supervisão escalável, generalização de fraco a forte e investigação de alinhamento automatizado.
Se estiveres interessado em participar, os meus dms estão abertos.
- Jan Leike (@janleike) 28 de maio de 2024
Agora, Altman não só está de volta como Diretor Executivo, como também faz parte do comité responsável por destacar as questões de segurança. As informações de Helen Toner, antiga membro do conselho de administração, sobre as razões que levaram ao despedimento de Altman fazem-nos pensar até que ponto ele será transparente em relação aos problemas de segurança descobertos pelo comité.
Aparentemente, a direção da OpenAI soube do lançamento do ChatGPT através do Twitter.
❗EXCLUSIVE: "Aprendemos sobre ChatGPT no Twitter".
O que REALMENTE aconteceu em OpenAI? Helen Toner, ex-membro do Conselho de Administração, quebra o seu silêncio com novos pormenores chocantes sobre Sam Altman. Ouça a história exclusiva e não contada no The TED AI Show.
Aqui está apenas uma espreitadela: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28 de maio de 2024
O Comité de Segurança e Proteção utilizará os próximos 90 dias para avaliar e desenvolver os processos e as salvaguardas da OpenAI.
As recomendações serão apresentadas ao conselho de administração da OpenAI para aprovação e a empresa comprometeu-se a publicar as recomendações de segurança adoptadas.
A OpenAI diz que começou a treinar o seu próximo modelo de fronteira que, segundo a empresa, "nos levará ao próximo nível de capacidades no nosso caminho para a AGI".
Não foi indicada uma data de lançamento prevista para o novo modelo, mas só a formação demorará provavelmente semanas, se não meses.
Numa atualização sobre a sua abordagem à segurança, publicada após a Cimeira de Seul sobre IA, a OpenAI afirmou: "Não lançaremos um novo modelo se este ultrapassar o limiar de risco "Médio" do nosso Quadro de Preparação, até implementarmos intervenções de segurança suficientes para que a pontuação pós-mitigação volte a ser "Média".
A Comissão afirmou que mais de 70 peritos externos participaram no red teaming GPT-4o antes do seu lançamento.
Faltando 90 dias para a comissão apresentar as suas conclusões ao conselho de administração, tendo apenas começado recentemente a formação e comprometendo-se a realizar uma extensa equipa vermelha, parece que teremos de esperar muito tempo até termos finalmente o GPT-5.
Ou será que querem dizer que começaram agora a treinar o GPT-6?
