O Instituto Nacional de Normas e Tecnologia (NIST) dos EUA manifestou a sua preocupação com a segurança dos sistemas de IA preditiva e generativa.
De acordo com Apostol Vassilev, um cientista informático do NIST, apesar dos avanços na segurança, estas tecnologias continuam a ser vulneráveis a uma variedade de ataques.
Num documento colaborativo intitulado "Aprendizagem automática adversarial: Uma Taxonomia e Terminologia de Ataques e Mitigações," Vassilev, juntamente com colegas da Northeastern University e da Robust Intelligence, categorizam os riscos de segurança colocados pelos sistemas de IA.
Vassilev declarou: "Apesar dos progressos significativos que a IA e a aprendizagem automática têm feito, estas tecnologias são vulneráveis a ataques que podem causar falhas espectaculares com consequências terríveis".
Também advertiu contra qualquer empresa que afirme oferecer "IA totalmente segura".
Isto faz parte do Iniciativa de IA fiável e responsável do NISTalinhando com os objectivos do governo dos EUA para a segurança da IA. Examina técnicas de aprendizagem automática adversárias, centrando-se em quatro principais preocupações de segurança: evasão, envenenamento, privacidade e ataques abusivos.
Os ataques de evasão ocorrem após a implementação, alterando as entradas para confundir os sistemas de IA. Por exemplo, a modificação de sinais de paragem para que os veículos autónomos os interpretem erradamente como sinais de limite de velocidade ou a criação de marcas de faixa enganadoras para desviar os veículos.
Nos ataques de envenenamento, são introduzidos dados corrompidos durante o treino. Isto pode envolver a incorporação de linguagem inadequada frequente em conjuntos de dados de treino, levando um chatbot a adotar essa linguagem nas interacções com os clientes.
Os ataques à privacidade têm como objetivo extrair informações sensíveis sobre a IA ou os seus dados de treino, muitas vezes através de métodos de engenharia inversa. Isto pode envolver a utilização das respostas de um chatbot para discernir as suas fontes de formação e os seus pontos fracos.
Os ataques de abuso manipulam fontes legítimas, como páginas Web, alimentando os sistemas de IA com informações falsas para alterar o seu funcionamento. Isto difere dos ataques de envenenamento, que corrompem o próprio processo de formação.
Os ataques de evasão envolvem a criação de exemplos adversários para enganar os sistemas de IA durante a implementação, como a identificação errada de sinais de stop em veículos autónomos.
Alina Oprea, da Northeastern University, que esteve envolvida no projeto estudo, explicou: "A maior parte destes ataques são bastante fáceis de montar e requerem um conhecimento mínimo do sistema de IA e capacidades adversárias limitadas".
NIST criticado por ligações a grupo de reflexão sobre IA
Separadamente, foram manifestadas preocupações sobre uma planeada parceria de investigação em IA entre o NIST e a RAND Corp.
A RAND, conhecida pelas suas ligações a bilionários da tecnologia e à movimento de altruísmo efetivodesempenhou um papel consultivo significativo na elaboração do Ordem executiva relativa à segurança da IA.
Os membros da Comissão de Ciência, Espaço e Tecnologia da Câmara dos Representantes, incluindo Frank Lucas e Zoe Lofgren, criticaram a falta de transparência desta parceria.
As preocupações da comissão são de duas ordens: Em primeiro lugar, questionam o facto de não ter havido um processo competitivo para selecionar a RAND para esta investigação sobre segurança da IA.
Normalmente, quando agências governamentais como o NIST concedem bolsas de investigação, abrem a oportunidade a diferentes organizações de se candidatarem, garantindo um processo de seleção justo. Mas, neste caso, parece que a RAND foi escolhida sem esse processo.
Em segundo lugar, existe alguma inquietação quanto ao facto de o RAND se concentrar na investigação sobre a IA. A RAND tem estado envolvida em estudos sobre a IA e a biossegurança e recebeu recentemente um financiamento significativo para este trabalho de fontes estreitamente ligadas à indústria tecnológica.
