L'Institut national américain des normes et de la technologie (NIST) a exprimé des inquiétudes quant à la sécurité des systèmes d'IA prédictive et générative.
Selon Apostol Vassilev, informaticien au NIST, malgré les progrès réalisés en matière de sécurité, ces technologies restent vulnérables à diverses attaques.
Dans un document de travail titré "Apprentissage automatique adversarial : Une taxonomie et une terminologie des attaques et des atténuationsVassilev et ses collègues de la Northeastern University et de Robust Intelligence classent les risques de sécurité posés par les systèmes d'IA.
M. Vassilev a déclaré : "Malgré les progrès considérables réalisés par l'IA et l'apprentissage automatique, ces technologies sont vulnérables aux attaques qui peuvent provoquer des échecs spectaculaires aux conséquences désastreuses."
Il a également mis en garde contre les entreprises qui prétendent offrir une "IA entièrement sécurisée".
Cela fait partie de la Initiative du NIST pour une IA digne de confiance et responsableIl s'aligne sur les objectifs du gouvernement américain en matière de sécurité de l'IA. Il examine les techniques adverses d'apprentissage automatique, en se concentrant sur quatre problèmes de sécurité principaux : l'évasion, l'empoisonnement, la protection de la vie privée et les attaques abusives.
Les attaques d'évasion se produisent après le déploiement, en modifiant les données d'entrée pour confondre les systèmes d'IA. Par exemple, modifier les panneaux d'arrêt pour que les véhicules autonomes les interprètent comme des panneaux de limitation de vitesse, ou créer des marquages de voies trompeurs pour égarer les véhicules.
Dans les attaques par empoisonnement, des données corrompues sont introduites pendant la formation. Il peut s'agir de l'intégration d'un langage inapproprié fréquent dans les ensembles de données de formation, ce qui conduit un chatbot à adopter ce langage dans les interactions avec les clients.
Les attaques contre la vie privée visent à extraire des informations sensibles sur l'IA ou ses données de formation, souvent par des méthodes de rétro-ingénierie. Il peut s'agir d'utiliser les réponses d'un chatbot pour discerner ses sources de formation et ses faiblesses.
Les attaques par abus manipulent des sources légitimes, telles que des pages web, en fournissant aux systèmes d'intelligence artificielle de fausses informations afin d'altérer leur fonctionnement. Cela diffère des attaques par empoisonnement, qui corrompent le processus de formation lui-même.
Les attaques par évasion consistent à créer des exemples contradictoires pour tromper les systèmes d'IA lors du déploiement, comme l'identification erronée des panneaux d'arrêt dans les véhicules autonomes.
Alina Oprea de l'Université de Northeastern, qui a participé à l'étude de la étude, La plupart de ces attaques sont assez faciles à mettre en place et nécessitent une connaissance minimale du système d'intelligence artificielle et des capacités adverses limitées.
Le NIST critiqué pour ses liens avec un groupe de réflexion sur l'IA
Séparément, des préoccupations ont été exprimées sur un projet de partenariat de recherche sur l'IA entre le NIST et la RAND Corp.
La RAND, connue pour ses liens avec les milliardaires de la technologie et la mouvement pour un altruisme efficaceIl a joué un rôle consultatif important dans l'élaboration de la politique de l'Union européenne en matière d'environnement. Décret sur la sécurité de l'IA.
Les membres de la commission de la science, de l'espace et de la technologie de la Chambre des représentants, dont Frank Lucas et Zoe Lofgren, ont critiqué le manque de transparence de ce partenariat.
Les préoccupations de la commission sont doubles : Premièrement, elle se demande pourquoi il n'y a pas eu de procédure concurrentielle pour sélectionner la RAND pour cette recherche sur la sécurité de l'IA.
Habituellement, lorsque des agences gouvernementales comme le NIST accordent des subventions de recherche, elles donnent la possibilité à différentes organisations de poser leur candidature, ce qui garantit un processus de sélection équitable. Mais dans le cas présent, il semble que la RAND ait été choisie sans cette procédure.
Deuxièmement, l'accent mis par la RAND sur la recherche en matière d'IA suscite un certain malaise. La RAND a participé à des études sur l'IA et la biosécurité et a récemment reçu un financement important pour ces travaux de la part de sources étroitement liées à l'industrie technologique.
