Det amerikanske National Institute of Standards and Technology (NIST) har uttrykt bekymring for sikkerheten til prediktive og generative AI-systemer.
Ifølge Apostol Vassilev, dataforsker ved NIST, er disse teknologiene fortsatt sårbare for en rekke ulike angrep, til tross for fremskritt innen sikkerhet.
I en samarbeidsdokument med tittelen "Adversarial maskinlæring: En taksonomi og terminologi for angrep og avbøtende tiltakVassilev, sammen med kolleger fra Northeastern University og Robust Intelligence, kategoriserer sikkerhetsrisikoen som AI-systemer utgjør.
Vassilev uttalte: "Til tross for de betydelige fremskrittene AI og maskinlæring har gjort, er disse teknologiene sårbare for angrep som kan forårsake spektakulære feil med alvorlige konsekvenser."
Han advarte også mot alle selskaper som hevder å tilby "fullstendig sikker AI".
Dette er en del av NIST-initiativet for pålitelig og ansvarlig AI, i tråd med amerikanske myndigheters mål for KI-sikkerhet. Den tar for seg teknikker for kontradiktorisk maskinlæring, med fokus på fire hovedsikkerhetsproblemer: omgåelse, forgiftning, personvern og misbruksangrep.
Unnvikelsesangrep skjer etter utplassering, ved at man endrer inndata for å forvirre AI-systemene. For eksempel ved å endre stoppskilt slik at autonome kjøretøy feiltolker dem som fartsgrenseskilt, eller ved å lage villedende kjørefeltmarkeringer for å lede kjøretøyene på villspor.
Ved forgiftningsangrep introduseres korrupte data under opplæringen. Dette kan innebære at det ofte legges inn upassende språk i opplæringsdatasettene, noe som fører til at en chatbot tar i bruk dette språket i kundeinteraksjoner.
Personvernangrep har som mål å hente ut sensitiv informasjon om den kunstige intelligensen eller opplæringsdataene, ofte ved hjelp av omvendt manipulering. Dette kan innebære å bruke chatbotens svar for å finne ut hvor den er opplært og hvilke svakheter den har.
Misbruksangrep manipulerer legitime kilder, for eksempel nettsider, og gir AI-systemer falsk informasjon for å endre hvordan de fungerer. Dette skiller seg fra forgiftningsangrep, som ødelegger selve opplæringsprosessen.
Unnvikelsesangrep innebærer å skape eksempler som kan lure AI-systemer under utplassering, for eksempel ved å feilidentifisere stoppskilt i selvkjørende kjøretøy.
Alina Oprea fra Northeastern University, som var involvert i arbeidet med studie, "De fleste av disse angrepene er ganske enkle å gjennomføre og krever et minimum av kunnskap om AI-systemet og begrensede motstanderegenskaper", forklarer han.
NIST kritiseres for koblinger til AI-tenketank
Separat, Det har blitt reist bekymringer om et planlagt AI-forskningssamarbeid mellom NIST og RAND Corp.
RAND, kjent for sine forbindelser til teknologimilliardærer og effektiv altruisme-bevegelsespilte en viktig rådgivende rolle i utformingen av Bekendtgørelse om AI-sikkerhed.
Medlemmer av komiteen for vitenskap, romfart og teknologi i Representantenes hus, deriblant Frank Lucas og Zoe Lofgren, kritiserte mangelen på åpenhet i dette partnerskapet.
Komiteens bekymringer er todelt: For det første stiller de spørsmål ved hvorfor RAND ikke ble valgt ut til å utføre denne forskningen på kunstig intelligens.
Når offentlige etater som NIST gir forskningsstipend, åpner de vanligvis opp for at ulike organisasjoner kan søke, noe som sikrer en rettferdig utvelgelsesprosess. Men i dette tilfellet ser det ut til at RAND ble valgt uten en slik prosess.
For det andre er det en viss uro knyttet til RANDs fokus på AI-forskning. RAND har vært involvert i studier av kunstig intelligens og biosikkerhet, og har nylig mottatt betydelige midler til dette arbeidet fra kilder som er nært knyttet til teknologibransjen.
