Dos antiguos investigadores de OpenAI escribieron una carta en respuesta a la oposición de OpenAI al controvertido proyecto de ley SB 1047 de California sobre la seguridad de la IA.
En proyecto de ley se ha ido abriendo camino a través de los pasos legislativos del estado, y si se aprueba en el pleno del Senado a finales de mes, se dirigirá al Gobernador Gavin Newsom para su firma.
El proyecto de ley exige controles de seguridad adicionales para los modelos de IA cuyo entrenamiento cueste más de $100m, así como un "interruptor de desactivación" en caso de que el modelo se comporte mal. William Saunders y Daniel Kokotajlo, antiguos empleados y denunciantes de OpenAI, afirman estar "decepcionados pero no sorprendidos" por la oposición de OpenAI al proyecto de ley.
OpenAILa carta de al autor del proyecto, el senador Scott Wiener, explicó que, aunque apoya la intención del proyecto, las leyes federales que regulan el desarrollo de la IA son una mejor opción.
OpenAI afirma que las implicaciones para la seguridad nacional, como los posibles daños químicos, biológicos, radiológicos y nucleares, "las gestionan mejor el gobierno y las agencias federales".
La carta afirma que si "los estados intentan competir con el gobierno federal por los escasos talentos y recursos, se diluirán los ya limitados conocimientos técnicos de los distintos organismos, lo que dará lugar a una política menos eficaz y más fragmentada de protección contra los riesgos para la seguridad nacional y los daños críticos".
La carta también citaba las preocupaciones de la representante Zoe Lofgren de que si el proyecto se convertía en ley, "existe un riesgo real de que las empresas decidan constituirse en otras jurisdicciones o simplemente no publiquen modelos en California."
Respuesta del denunciante de OpenAI
Los antiguos empleados de OpenAI no se tragan el razonamiento de OpenAI. Nos unimos a OpenAI porque queríamos garantizar la seguridad de los sistemas de IA increíblemente potentes que la empresa está desarrollando. Pero renunciamos a OpenAI porque perdimos la confianza en que desarrollaría sus sistemas de IA de forma segura, honesta y responsable."
Los autores de la carta también estaban detrás del "Carta sobre el "derecho de advertenciapublicado a principios de este año.
Al explicar su apoyo al SB 1047, la carta afirma que "el desarrollo de modelos de IA de vanguardia sin las debidas precauciones de seguridad plantea riesgos previsibles de daños catastróficos para el público".
OpenAI ha sido testigo de un éxodo de investigadores en seguridad de la IA, pero los modelos de la empresa no han producido ninguno de los escenarios catastróficos que han preocupado a muchos. Los denunciantes afirman: "Eso se debe únicamente a que aún no se han construido sistemas verdaderamente peligrosos, no a que las empresas dispongan de procesos de seguridad que puedan gestionar sistemas verdaderamente peligrosos."
Tampoco creen al CEO de OpenAI, Sam Altman, cuando dice que está comprometido con la seguridad de la IA. "Sam Altman, nuestro antiguo jefe, ha pedido repetidamente la regulación de la IA. Ahora, cuando la regulación real está sobre la mesa, se opone a ella", explicaron.
OpenAI no es la única empresa que se opone al proyecto de ley. Anthropic también tenía dudas, pero ahora parece apoyarla tras las enmiendas introducidas.
El director general de Anthropic, Dario Amodei, afirmó en su carta al gobernador de California, Gavin Newsom, el 21 de agosto: "En nuestra evaluación, la nueva ley SB 1047 mejora sustancialmente, hasta el punto de que creemos que sus beneficios probablemente superan sus costes.
"Sin embargo, no estamos seguros de ello, y todavía hay algunos aspectos del proyecto de ley que nos parecen preocupantes o ambiguos... Nuestras preocupaciones iniciales sobre la posibilidad de que el proyecto de ley obstaculice la innovación debido a la rápida evolución de la naturaleza del campo se han reducido en gran medida en la versión modificada."
Si el SB 1047 se convierte en ley, podría obligar a empresas como OpenAI a dedicar muchos más recursos a la seguridad de la IA, pero también podría producirse una migración de empresas tecnológicas de Silicon Valley.
