El Instituto Nacional de Normas y Tecnología de Estados Unidos (NIST) ha expresado su preocupación por la seguridad de los sistemas de IA predictiva y generativa.
Según Apostol Vassilev, informático del NIST, a pesar de los avances en seguridad, estas tecnologías siguen siendo vulnerables a diversos ataques.
En un documento de colaboración titulado "Aprendizaje automático adversarial: Taxonomía y terminología de ataques y soluciones," Vassilev, junto con colegas de la Universidad Northeastern y Robust Intelligence, clasifican los riesgos de seguridad que plantean los sistemas de IA.
Vassilev declaró: "A pesar de los importantes avances de la IA y el aprendizaje automático, estas tecnologías son vulnerables a ataques que pueden provocar fallos espectaculares con consecuencias nefastas."
También advirtió contra cualquier empresa que afirme ofrecer una "IA totalmente segura".
Esto forma parte del Iniciativa del NIST sobre IA fiable y responsable, en consonancia con los objetivos del gobierno estadounidense en materia de seguridad de la IA. Examina las técnicas de aprendizaje automático adversario, centrándose en cuatro problemas de seguridad principales: evasión, envenenamiento, privacidad y ataques de abuso.
Los ataques de evasión se producen después del despliegue, alterando las entradas para confundir a los sistemas de IA. Por ejemplo, modificando las señales de stop para que los vehículos autónomos las interpreten erróneamente como señales de límite de velocidad, o creando marcas de carril engañosas para despistar a los vehículos.
En los ataques de envenenamiento, se introducen datos corruptos durante el entrenamiento. Esto podría implicar la incrustación de lenguaje inapropiado frecuente en los conjuntos de datos de entrenamiento, lo que llevaría a un chatbot a adoptar este lenguaje en las interacciones con los clientes.
Los ataques a la privacidad pretenden extraer información sensible sobre la IA o sus datos de entrenamiento, a menudo mediante métodos de ingeniería inversa. Esto puede implicar el uso de las respuestas de un chatbot para discernir sus fuentes de entrenamiento y sus puntos débiles.
Los ataques de abuso manipulan fuentes legítimas, como páginas web, alimentando los sistemas de IA con información falsa para alterar su funcionamiento. Esto difiere de los ataques de envenenamiento, que corrompen el propio proceso de entrenamiento.
Los ataques de evasión consisten en crear ejemplos adversos para engañar a los sistemas de IA durante su despliegue, como la identificación errónea de señales de stop en vehículos autónomos.
Alina Oprea, de la Northeastern University, que participó en la estudiar, explicó: "La mayoría de estos ataques son bastante fáciles de montar y requieren un conocimiento mínimo del sistema de IA y capacidades adversarias limitadas".
Críticas al NIST por sus vínculos con un grupo de expertos en IA
Por separado, se han planteado inquietudes sobre un proyecto de asociación entre el NIST y RAND Corp. para investigar la IA.
RAND, conocida por sus vínculos con multimillonarios de la tecnología y la movimiento altruista eficazha desempeñado un importante papel consultivo en la configuración de la orden ejecutiva sobre seguridad de la IA.
Miembros de la Comisión de Ciencia, Espacio y Tecnología de la Cámara de Representantes, entre ellos Frank Lucas y Zoe Lofgren, criticaron la falta de transparencia de esta asociación.
El comité tiene dos preocupaciones: En primer lugar, se preguntan por qué no hubo un proceso competitivo para seleccionar a RAND para esta investigación sobre la seguridad de la IA.
Normalmente, cuando las agencias gubernamentales como el NIST conceden becas de investigación, abren la posibilidad de que diferentes organizaciones presenten solicitudes, garantizando un proceso de selección justo. Pero en este caso, parece que RAND fue elegida sin tal proceso.
En segundo lugar, existe cierto malestar por el hecho de que el RAND se centre en la investigación de la IA. RAND ha participado en estudios sobre IA y bioseguridad y recientemente ha recibido importantes fondos para este trabajo de fuentes estrechamente vinculadas a la industria tecnológica.
