Das US National Institute of Standards and Technology (NIST) hat Bedenken hinsichtlich der Sicherheit von prädiktiven und generativen KI-Systemen geäußert.
Laut Apostol Vassilev, einem Informatiker am NIST, sind diese Technologien trotz der Fortschritte bei der Sicherheit nach wie vor anfällig für eine Vielzahl von Angriffen.
In einem gemeinsames Papier betitelt "Adversariales maschinelles Lernen: Eine Taxonomie und Terminologie von Angriffen und Abhilfemaßnahmenkategorisiert Vassilev zusammen mit Kollegen von der Northeastern University und Robust Intelligence die Sicherheitsrisiken, die von KI-Systemen ausgehen.
Vassilev erklärte: "Trotz der bedeutenden Fortschritte, die KI und maschinelles Lernen gemacht haben, sind diese Technologien anfällig für Angriffe, die zu spektakulären Ausfällen mit schlimmen Folgen führen können."
Er warnte auch vor jedem Unternehmen, das behauptet, "vollkommen sichere KI" anzubieten.
Dies ist Teil der NIST Initiative für vertrauenswürdige und verantwortungsvolle KIund stimmt mit den Zielen der US-Regierung für die KI-Sicherheit überein. Es untersucht schädliche Techniken des maschinellen Lernens und konzentriert sich dabei auf vier wichtige Sicherheitsaspekte: Umgehungs-, Vergiftungs-, Datenschutz- und Missbrauchsangriffe.
Umgehungsangriffe erfolgen nach dem Einsatz, indem Eingaben verändert werden, um KI-Systeme zu verwirren. So werden beispielsweise Stoppschilder so verändert, dass sie von autonomen Fahrzeugen fälschlicherweise als Geschwindigkeitsbegrenzungsschilder interpretiert werden, oder es werden trügerische Fahrbahnmarkierungen erstellt, um Fahrzeuge in die Irre zu führen.
Bei Vergiftungsangriffen werden während des Trainings fehlerhafte Daten eingeführt. Dies könnte bedeuten, dass häufig unangemessene Sprache in Trainingsdatensätze eingebettet wird, was dazu führt, dass ein Chatbot diese Sprache in Kundeninteraktionen übernimmt.
Angriffe auf die Privatsphäre zielen darauf ab, sensible Informationen über die KI oder ihre Trainingsdaten zu extrahieren, häufig durch Reverse-Engineering-Methoden. Dazu kann es gehören, die Antworten eines Chatbots zu verwenden, um seine Trainingsquellen und Schwächen zu erkennen.
Missbrauchsangriffe manipulieren legitime Quellen wie Webseiten und füttern KI-Systeme mit falschen Informationen, um deren Funktionsweise zu verändern. Dies unterscheidet sich von Vergiftungsangriffen, die den Trainingsprozess selbst beeinträchtigen.
Bei Umgehungsangriffen werden gegnerische Beispiele geschaffen, um KI-Systeme während des Einsatzes zu täuschen, z. B. indem Stoppschilder in autonomen Fahrzeugen falsch erkannt werden.
Alina Oprea von der Northeastern University, die an dem Projekt beteiligt war Studie, erklärte: "Die meisten dieser Angriffe sind relativ einfach zu bewerkstelligen und erfordern ein Minimum an Wissen über das KI-System und begrenzte Fähigkeiten des Gegners."
NIST wegen Verbindungen zu KI-Denkfabrik kritisiert
Getrennt, Bedenken wurden geäußert über eine geplante KI-Forschungspartnerschaft zwischen dem NIST und der RAND Corp.
RAND, bekannt für seine Verbindungen zu Tech-Milliardären und die Bewegung für einen wirksamen Altruismusspielte eine wichtige beratende Rolle bei der Gestaltung der Exekutivanordnung zur AI-Sicherheit.
Mitglieder des Ausschusses für Wissenschaft, Raumfahrt und Technologie des Repräsentantenhauses, darunter Frank Lucas und Zoe Lofgren, kritisierten den Mangel an Transparenz bei dieser Partnerschaft.
Die Bedenken des Ausschusses sind zweifacher Art: Erstens fragen sie sich, warum RAND nicht in einem wettbewerbsorientierten Verfahren für diese KI-Sicherheitsforschung ausgewählt wurde.
Wenn Regierungsbehörden wie das NIST Forschungsstipendien vergeben, geben sie normalerweise verschiedenen Organisationen die Möglichkeit, sich zu bewerben, um ein faires Auswahlverfahren zu gewährleisten. Aber in diesem Fall scheint es, dass RAND ohne ein solches Verfahren ausgewählt wurde.
Zweitens besteht ein gewisses Unbehagen über die Konzentration von RAND auf die KI-Forschung. RAND war an Studien zu KI und Biosicherheit beteiligt und hat in letzter Zeit erhebliche Mittel für diese Arbeit aus Quellen erhalten, die eng mit der Technologiebranche verbunden sind.
