A OpenAI revelou recentemente que o seu conselho de administração tem autoridade para anular as decisões tomadas pelo diretor executivo relativamente ao lançamento de novos modelos de IA, mesmo que estes tenham sido considerados seguros pela direção da empresa.
Esta informação foi detalhada num conjunto de directrizes reveladas na segunda-feira, delineando a estratégia da empresa para lidar com potenciais riscos extremos colocados pelos seus sistemas de IA mais avançados.
Embora a equipa de liderança possa decidir inicialmente sobre o lançamento de um novo sistema de IA, o conselho de administração mantém o direito de reverter essas decisões.
Sam Altman, diretor executivo da OpenAI, foi demitido do seu cargo e reintegrado de forma dramática, pondo em evidência uma curiosa dinâmica de poder entre os directores e os executivos da empresa.
No rescaldo, muitos especularam que Altman não tinha estado a prestar a devida atenção à segurança dos modelos, que tinha sido "arrastado pelo seu trabalho", por assim dizer. Relatórios posteriores lançaram dúvidas sobre isso, incluindo o presidente da Microsoft, Brad Smith, que disse achar improvável que a segurança era o principal motivo.
Havia também o facto de a OpenAI ter sido avaliada em grande escala e de os seus funcionários quererem ganhar dinheiro com as suas opções de compra de acções.
O Business Insider alegou que os funcionários da OpenAI utilizaram a sua carta aberta, afirmando que deixariam a empresa se Altman não fosse readmitido, como moeda de troca. Um funcionário chegou a dizer que ele era um mau CEO, embora esses relatos não tenham sido confirmados.
A OpenAI agiu agora para dissipar os receios de que não está a levar a IA em segurança, começando por publicar os resultados da sua nova "experiência de "superalinhamento e também aumentando os "poderes" da sua equipa de "preparação".
O projeto da OpenAI equipa de preparaçãoliderada por Aleksander Madry, atualmente em licença do MIT, avalia continuamente os sistemas de IA em várias categorias de risco, incluindo a cibersegurança e as ameaças relacionadas com os domínios químico, nuclear e biológico.
Esta equipa tem por objetivo identificar e atenuar quaisquer perigos significativos associados à tecnologia. De acordo com as orientações, os riscos classificados como "catastróficos" podem provocar prejuízos económicos substanciais ou danos graves a muitas pessoas.
Madry explicou o processo, afirmando: "A IA não é algo que nos acontece e que pode ser bom ou mau. É algo que estamos a moldar". Madry manifestou ainda a esperança de que outras empresas adoptem as directrizes da OpenAI para a avaliação de riscos.
A sua equipa, formada em outubro como parte de três grupos separados que supervisionam a segurança da IA na OpenAI, irá avaliar os modelos de IA não lançados e classificar os riscos percebidos como "baixos", "médios", "altos" ou "críticos". Apenas os modelos classificados como "médio" ou "baixo" serão considerados para lançamento.
Estamos a sistematizar o nosso pensamento de segurança com o nosso Quadro de Preparação, um documento vivo (atualmente em versão beta) que detalha os investimentos técnicos e operacionais que estamos a adotar para orientar a segurança do desenvolvimento do nosso modelo de fronteira.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18 de dezembro de 2023
Falando de suas novas políticas sobre X, OpenAI disse: "Estamos sistematizando nosso pensamento de segurança com nosso Estrutura de preparação, um documento vivo (atualmente em beta) que detalha os investimentos técnicos e operacionais que estamos adotando para orientar a segurança do desenvolvimento de nosso modelo de fronteira.
Para além destas medidas, a OpenAI tem um grupo consultivo de segurança interno que analisa as conclusões da equipa de Madry e apresenta recomendações a Altman e ao conselho de administração.
