Dois antigos investigadores da OpenAI escreveram uma carta em resposta à oposição da OpenAI ao controverso projeto de lei SB 1047 da Califórnia sobre segurança da IA.
O projeto de lei proposto tem estado a percorrer o seu caminho através das etapas legislativas do estado e, se for aprovado pelo Senado até ao final do mês, será enviado ao Governador Gavin Newsom para assinatura.
O projeto de lei exige verificações de segurança adicionais para os modelos de IA que custem mais de $100m a treinar, bem como um "interrutor de desativação" no caso de o modelo se comportar mal. William Saunders e Daniel Kokotajlo, antigos funcionários e denunciantes da OpenAI, afirmam estar "desiludidos mas não surpreendidos" com a oposição da OpenAI ao projeto de lei.
OpenAIcarta de O senador Scott Wiener, autor do projeto de lei, explicou que, embora apoie a intenção subjacente ao projeto de lei, as leis federais que regulam o desenvolvimento da IA são uma melhor opção.
A OpenAI afirma que as implicações para a segurança nacional, como os potenciais danos químicos, biológicos, radiológicos e nucleares, são "melhor geridas pelo governo federal e pelas agências".
A carta diz que se "os Estados tentarem competir com o governo federal por talentos e recursos escassos, isso diluirá os conhecimentos já limitados entre as agências, levando a uma política menos eficaz e mais fragmentada de proteção contra riscos de segurança nacional e danos críticos".
A carta também citava as preocupações da deputada Zoe Lofgren de que, se o projeto de lei fosse aprovado, "existe um risco real de que as empresas decidam constituir-se noutras jurisdições ou simplesmente não lancem modelos na Califórnia".
Resposta do denunciante da OpenAI
Os antigos funcionários da OpenAI não estão a acreditar no raciocínio da OpenAI. Explicaram: "Juntámo-nos à OpenAI porque queríamos garantir a segurança dos sistemas de IA incrivelmente poderosos que a empresa está a desenvolver. Mas demitimo-nos da OpenAI porque perdemos a confiança de que ela iria desenvolver os seus sistemas de IA de forma segura, honesta e responsável".
Os autores de a carta também estavam por trás do "Carta "Right to Warn, lançado no início deste ano.
Explicando o seu apoio ao SB 1047, a carta diz: "O desenvolvimento de modelos de IA de ponta sem as devidas precauções de segurança apresenta riscos previsíveis de danos catastróficos para o público".
A OpenAI assistiu a um êxodo de investigadores em matéria de segurança da IA, mas os modelos da empresa não produziram nenhum dos cenários catastróficos com que muitos se preocuparam. Os denunciantes afirmam que "isso só acontece porque ainda não foram construídos sistemas verdadeiramente perigosos, não porque as empresas tenham processos de segurança que possam lidar com sistemas verdadeiramente perigosos".
Também não acreditam no CEO da OpenAI, Sam Altman, quando este diz que está empenhado na segurança da IA. "Sam Altman, nosso ex-chefe, pediu repetidamente a regulamentação da IA. Agora, quando a regulamentação real está em cima da mesa, ele se opõe a ela", explicaram.
A OpenAI não é a única empresa que se opõe ao projeto de lei. A Anthropic também tinha preocupações, mas agora parece apoiá-lo depois de terem sido feitas alterações.
O Diretor Executivo da Anthropic, Dario Amodei, afirmou na sua carta ao Governador da Califórnia, Gavin Newsom, em 21 de agosto: "Na nossa avaliação, a nova SB 1047 está substancialmente melhorada, ao ponto de acreditarmos que os seus benefícios provavelmente ultrapassam os seus custos.
"No entanto, não temos a certeza disso e ainda há alguns aspectos do projeto de lei que nos parecem preocupantes ou ambíguos... As nossas preocupações iniciais sobre o projeto de lei que poderia dificultar a inovação devido à natureza em rápida evolução do campo foram grandemente reduzidas na versão alterada."
Se o SB 1047 for aprovado, poderá obrigar empresas como a OpenAI a concentrar muito mais recursos na segurança da IA, mas também poderá assistir-se a uma migração de empresas tecnológicas de Silicon Valley.
