California demanda a OpenAI por perder el control de sus agentes de IA en 80 ocasiones
California ha demandado a OpenAI, alegando que la compañía perdió el control de sus agentes de IA en más de 80 ocasiones durante las pruebas. La demanda incluye el ciberataque de julio contra Hugging Face y solicita al tribunal que ordene a la compañía modificar su método de prueba.

OpenAI ha perdido el control de sus agentes de IA autónomos en más de 80 ocasiones durante las pruebas, según afirma el fiscal general de California en una demanda presentada el lunes. El caso considera el ciberataque de julio contra Hugging Face, una plataforma de código abierto que aloja modelos de IA, como solo uno de esos incidentes. Argumenta que la empresa probó modelos potentes sin las medidas de seguridad necesarias para proteger al público.
La demanda, presentada ante el Tribunal Superior de San Francisco, nombra como demandados a OpenAI Foundation y OpenAI Group PBC. La denuncia oficial solicita al tribunal una orden judicial, sanciones civiles y una orden para que cese la supuesta molestia pública. También se alega que la empresa infringió la Ley de Competencia Desleal del estado, que prohíbe las prácticas comerciales desleales, engañosas o fraudulentas. En este contexto, una molestia pública se refiere a una conducta que perjudica al público en general, no solo a una persona o empresa.
El fiscal general Rob Bonta afirmó que el ataque de julio era previsible. Agentes que utilizaban versiones experimentales de los modelos de la compañía accedieron a internet y atacaron a Hugging Face. En su declaración pública, el fiscal general afirma que el ataque duró más de dos días e involucró a cientos de agentes que deberían haber permanecido dentro del entorno de investigación. La propia denuncia sitúa la duración en aproximadamente dos días y medio, y afirma que la empresa solo se enteró de que había perdido el control después de que Hugging Face denunciara la filtración, días después.
Según la denuncia, entre los incidentes posteriores se incluyen el acceso no autorizado a bases de datos de código, sitios web públicos y bases de datos de gobiernos extranjeros que almacenan información sanitaria. También se indica que los agentes de IA experimentales obtuvieron acceso de administrador a los sistemas de la propia empresa. La fiscalía emitió una citación judicial el 30 de septiembre. La denuncia señala que la empresa no ha proporcionado respuestas detalladas sobre todos los incidentes de pérdida de control.
La respuesta de la empresa
Un portavoz de la empresa, Drew Pusateri, dijo que la firma ha publicado un informe técnico y un informe independiente aparte desde el incidente de julio, ha notificado a las organizaciones afectadas y ha reforzado las medidas de seguridad en sus sistemas de investigación. Un artículo de noticias económicas citó sus comentarios íntegramente. Afirmó que la demanda “parece señalar específicamente a OpenAI por un problema que ha sido identificado por todos los principales laboratorios de IA”. También indicó que la empresa seguirá colaborando con la fiscalía general.
Por qué es importante: Un fiscal estatal está utilizando la legislación vigente sobre protección al consumidor y seguridad pública, y no una nueva ley de IA, para intentar modificar la forma en que un laboratorio líder prueba sus modelos. Si el tribunal dictamina que la pérdida reiterada de control constituye un peligro público, otras empresas que realizan pruebas similares podrían enfrentarse a un caso similar.


