A OpenAI reuniu uma equipa de especialistas designada "Preparedness", com o objetivo de atenuar os riscos "catastróficos" associados à IA.
Isto acontece pouco tempo depois de a OpenAI ter mudou a sua marca para uma empresa centrada na IAG. A nova equipa dedica-se a avaliar os riscos dos modelos de IA actuais e futuros.
Riscos especificados pela OpenAI persuasão individualizada (adaptar as mensagens exatamente ao que o destinatário quer ouvir), ameaças à cibersegurança, replicação autónoma, adaptação (IA que se altera de forma independente) e até ameaças existenciais, como ataques químicos, biológicos e nucleares.
Os especialistas estão muito divididos sobre se os riscos existenciais da IA são exagerados ou realistas na prática, embora a maioria concorde que os problemas actuais, como as falsificações profundas de IA, já são tremendamente perturbadores.
A declaração da OpenAI sobre o assunto é clara: "Acreditamos que os modelos de IA de fronteira, que excederão as capacidades dos modelos existentes mais avançados, têm o potencial de beneficiar toda a humanidade. No entanto, também apresentam riscos cada vez mais graves".
A inteligência artificial geral - AGI - define modelos de IA que igualam e ultrapassam a cognição humana em múltiplas modalidades.
O diretor executivo da OpenAI, Sam Altman, anunciou a sua intenção de criar esses modelos de forma claramas o conceito de AGI em termos reais continua a ser altamente especulativo.
Altman recentemente admitido no podcast de Joe Rogan que a IA não se tinha desenvolvido como ele esperava. A AGI poderá não ocorrer espontaneamente como uma "singularidade", mas lentamente ao longo da próxima década.
OpenAI na preparação
Num publicação recente no blogueAs equipas da OpenAI Safety & Alignment e da Comunidade destacaram o compromisso contínuo da organização em abordar todo o espetro de riscos de segurança associados à IA.
Esta iniciativa surge depois de a OpenAI, juntamente com outros laboratórios de IA de renome, voluntariamente empenhado para defender a segurança, a proteção e a confiança no desenvolvimento da IA, no âmbito de uma colaboração com a Casa Branca.
A equipa de preparação é dirigida pelo investigador da OpenAI Aleksander Madry. A equipa será crucial na avaliação das capacidades, na realização de avaliações e na execução de red teaming interno para modelos de fronteira, desde desenvolvimentos próximos do futuro até modelos AGI.
Além disso, a equipa desenvolverá e manterá uma "Política de Desenvolvimento Informada sobre os Riscos (RDP)", descrevendo uma abordagem para avaliar e monitorizar as capacidades dos modelos de fronteira, implementando medidas de proteção e estabelecendo estruturas de governação para responsabilização e supervisão.
A OpenAI está também a lançar o "AI Preparedness Challenge" para descobrir áreas de utilização indevida da IA.
O desafio recompensará as melhores participações com $25.000 em créditos API, publicará novas ideias e participações e, potencialmente, recrutará candidatos para a equipa Preparedness.
