Algunos de los nombres más destacados de la gran tecnología se han unido para cofundar la Coalición para una IA Segura (CoSAI).
Todavía no existe una norma mundial para las prácticas seguras de desarrollo de la IA, y las medidas de seguridad actuales están fragmentadas y a menudo las empresas que crean modelos de IA las mantienen internamente.
CoSAI es una iniciativa de código abierto auspiciada por el organismo mundial de normalización OASIS cuyo objetivo es normalizar y compartir las mejores prácticas relacionadas con el desarrollo y la implantación seguros de la IA.
Entre las grandes empresas tecnológicas que apoyan la iniciativa figuran Google, IBM, Intel, Microsoft, NVIDIA y PayPal. Otros patrocinadores fundadores son Amazon, Anthropic, Cisco, Chainguard, Cohere, GenLab, OpenAI y Wiz.
Notablemente ausentes son Apple y Meta.
El objetivo del CoSAI es desarrollar y compartir medidas de seguridad globales que aborden riesgos como:
- robar el modelo
- envenenamiento de los datos de entrenamiento
- inyectar entradas maliciosas a través de la inyección puntual
- prevención de los malos tratos a escala
- ataques de inferencia de pertenencia
- ataques de inversión de modelo o de inversión de gradiente para deducir información privada
- extracción de información confidencial de los datos de formación
Carta del CoSAI dice que el "proyecto no prevé que entren en su ámbito de aplicación los siguientes temas: desinformación, alucinaciones, contenidos odiosos o abusivos, parcialidad, generación de malware, generación de contenidos de phishing u otros temas del ámbito de la seguridad de contenidos".
Google ya tiene su Google Secure AI Framework (SAIF) y OpenAI tiene su asediado proyecto de alineación. Sin embargo, hasta la creación del CoSAI no había existido un foro en el que combinar las mejores prácticas de seguridad de la IA que los agentes del sector han desarrollado de forma independiente.
Hemos visto pequeñas empresas como Mistral experimentan ascensos meteóricos con los modelos de IA que producen, pero muchas de estas empresas más pequeñas no disponen de recursos para financiar equipos de seguridad de IA.
CoSAI será una valiosa fuente gratuita de buenas prácticas de seguridad de la IA para pequeños y grandes operadores del sector.
Heather Adkins, vicepresidenta y responsable de resiliencia de ciberseguridad de Google, ha declarado: "Llevamos muchos años utilizando la IA y vemos el potencial que sigue teniendo para los defensores, pero también reconocemos sus oportunidades para los adversarios.
"CoSAI ayudará a las organizaciones, grandes y pequeñas, a integrar la IA de forma segura y responsable - ayudándoles a aprovechar sus beneficios a la vez que mitigan los riesgos."
Nick Hamilton, responsable de Gobernanza, Riesgos y Cumplimiento de OpenAI, ha declarado: "Desarrollar y desplegar tecnologías de IA que sean seguras y fiables es fundamental para la misión de OpenAI.
"Creemos que el desarrollo de normas y prácticas sólidas es esencial para garantizar el uso seguro y responsable de la IA y nos comprometemos a colaborar en todo el sector para conseguirlo.
"A través de nuestra participación en CoSAI, pretendemos aportar nuestra experiencia y recursos para ayudar a crear un ecosistema de IA seguro que beneficie a todos."
Esperemos que a la gente le guste Ilya Sutskever y otros que se fueron OpenAI por motivos de seguridad aportar voluntariamente su contribución al CoSAI.
