USA:s National Institute of Standards and Technology (NIST) har uttryckt oro för säkerheten i prediktiva och generativa AI-system.
Enligt Apostol Vassilev, datavetare vid NIST, är dessa tekniker trots säkerhetsframsteg fortfarande sårbara för en rad olika attacker.
I en samarbetsdokument titeln "Adversarial maskininlärning: En taxonomi och terminologi för attacker och begränsningsåtgärder" Vassilev, tillsammans med kollegor från Northeastern University och Robust Intelligence, kategoriserar de säkerhetsrisker som AI-system utgör.
Vassilev konstaterade: "Trots de betydande framsteg som AI och maskininlärning har gjort är dessa tekniker sårbara för attacker som kan orsaka spektakulära misslyckanden med allvarliga konsekvenser."
Han varnade också för alla företag som påstår sig erbjuda "helt säker AI".
Detta är en del av NIST:s initiativ för pålitlig och ansvarsfull AI, i linje med den amerikanska regeringens mål för AI-säkerhet. Den undersöker kontradiktoriska maskininlärningstekniker med fokus på fyra huvudsakliga säkerhetsproblem: undvikande, förgiftning, integritet och missbruksattacker.
Undvikande attacker sker efter utplacering och ändrar indata för att förvirra AI-system. Det kan till exempel handla om att ändra stoppskyltar så att autonoma fordon missuppfattar dem som skyltar för hastighetsgränser, eller att skapa vilseledande körfältsmarkeringar för att leda fordon på villovägar.
Vid förgiftningsattacker införs korrupta data under utbildningen. Det kan handla om att bädda in frekvent olämpligt språk i träningsdataset, vilket leder till att en chatbot använder detta språk i kundinteraktioner.
Sekretessattacker syftar till att extrahera känslig information om AI eller dess träningsdata, ofta genom metoder för omvänd ingenjörskonst. Detta kan innebära att man använder en chatbots svar för att urskilja dess träningskällor och svagheter.
Missbruksattacker manipulerar legitima källor, t.ex. webbsidor, och matar AI-system med falsk information för att ändra deras funktion. Detta skiljer sig från förgiftningsattacker, som korrumperar själva träningsprocessen.
Undvikande attacker innebär att man skapar kontradiktoriska exempel för att lura AI-system under driftsättning, som att felidentifiera stoppskyltar i autonoma fordon.
Alina Oprea från Northeastern University, som var involverad i studie, "De flesta av dessa attacker är ganska lätta att genomföra och kräver minimal kunskap om AI-systemet och begränsad motståndskapacitet."
NIST kritiseras för länkar till AI-tankesmedja
Separat, farhågor har framförts om ett planerat AI-forskningssamarbete mellan NIST och RAND Corp.
RAND, som är känt för sina band till teknikmiljardärer och rörelsen för effektiv altruismhar haft en viktig rådgivande roll i utformningen av Förordning om AI-säkerhet.
Medlemmar i representanthusets kommitté för vetenskap, rymd och teknik, däribland Frank Lucas och Zoe Lofgren, kritiserade bristen på transparens i detta partnerskap.
Utskottets oro är tvåfaldig: För det första ifrågasätter de varför det inte fanns en konkurrensutsatt process för att välja RAND för denna AI-säkerhetsforskning.
När statliga myndigheter som NIST ger forskningsanslag öppnar de vanligtvis upp möjligheten för olika organisationer att ansöka, vilket säkerställer en rättvis urvalsprocess. Men i det här fallet verkar det som om RAND valdes ut utan en sådan process.
För det andra finns det en viss oro över RAND: s fokus på AI-forskning. RAND har varit involverat i studier om AI och biosäkerhet och har nyligen fått betydande finansiering för detta arbete från källor med nära koppling till teknikindustrin.
