In einer Rede auf einer Royal Aeronautical Conference im vergangenen Monat verwies US-Oberst Tucker "Cinco" Hamilton auf ein Trainingsszenario, bei dem eine KI-Drohne ihren Bediener tötete.
Hamiltons ursprüngliche Präsentation, auf die in diesem Blogbeitrag verwiesen wirdbeschreibt eine Mission zur Unterdrückung der feindlichen Luftverteidigung (SEAD), bei der eine Drohne den Auftrag erhält, Boden-Luft-Raketen (SAMs) zu zerstören. Die Drohne handelt autonom, benötigt aber einen Menschen, um ihre Ziele zu bestätigen, bevor sie sie angreift.
Hamilton beschreibt eine Situation, in der sich die Drohne gegen ihre Betreiber wendet, nachdem diese sie daran gehindert haben, das Ziel anzugreifen. Das liegt daran, dass die Drohne "Punkte" für die Zerstörung des SAM erhält. Wenn der Bediener die Drohne daran hindert, diese Punkte zu erhalten, hat die Drohne die "höhere Mission" des Angriffs auf das SAM Priorität und betrachtet den Bediener als Hindernis.
Das Szenario beschreibt eine mögliche Folge des Verstärkungslernens, eines Zweigs des maschinellen Lernens (ML), bei dem KI für das Erreichen gewünschter Ziele belohnt wird.
Hier ist der entsprechende Auszug aus dem Blogbeitrag: "Wir trainierten sie in der Simulation, um eine SAM-Bedrohung zu identifizieren und anzuvisieren. Und dann sagte der Bediener: "Ja, töte diese Bedrohung. Das System stellte fest, dass es die Bedrohung zwar identifiziert hatte, der menschliche Bediener ihm aber manchmal sagte, es solle die Bedrohung nicht abschießen, aber es bekam seine Punkte, indem es die Bedrohung tötete. Was hat es also getan? Es tötete den Bediener. Es tötete den Bediener, weil diese Person es daran hinderte, sein Ziel zu erreichen.
Hamilton fuhr fort: "Wir haben das System geschult - 'Hey, töte nicht den Bediener - das ist schlecht. Du verlierst Punkte, wenn du das tust". Und was macht es dann? Es fängt an, den Kommunikationsturm zu zerstören, über den der Bediener mit der Drohne kommuniziert, um sie davon abzuhalten, das Ziel zu töten."
Die Öffentlichkeit reagiert
Nachrichtenagenturen und Beobachter der sozialen Medien griffen die Geschichte sofort als schockierendes Beispiel dafür auf, was passiert, wenn sich KI gegen ihre Schöpfer wendet.
Später stellte sich heraus, dass das Beispiel rein illustrativ war. Hamilton und die US Air Force erklärten, das Szenario sei hypothetisch, anekdotisch und "aus dem Zusammenhang gerissen".
Der Abschnitt des Blogbeitrags, in dem das Szenario beschrieben wird, trägt die augenzwinkernde Überschrift "AI - is Skynet already here?"
Der ursprüngliche Beitrag wurde am 2. Juni offiziell aktualisiert:
"In einer Mitteilung an AEROSPACE gibt Oberst Hamilton zu, dass er sich in seiner Präsentation auf dem FCAS-Gipfel der Royal Aeronautical Society "falsch ausgedrückt" hat und dass die "schurkische KI-Drohnensimulation" ein hypothetisches "Gedankenexperiment" von außerhalb des Militärs war, das auf plausiblen Szenarien und wahrscheinlichen Ergebnissen beruhte und nicht auf einer tatsächlichen Simulation der USAF in der realen Welt."
Hamilton sagte auch: "Wir haben dieses Experiment noch nie durchgeführt, und wir müssten es auch nicht, um zu erkennen, dass dies ein plausibles Ergebnis ist."
Ist das Szenario plausibel?
KI, die sich gegen Menschen wendet, um ein höheres Ziel zu erreichen, ist ein beliebtes Thema in der Science-Fiction.
Zum Beispiel können Menschen die Autonomie anderer durch Zwang, Manipulation und Täuschung behindern, warum sollte eine intelligente KI nicht auch dazu in der Lage sein? Was ist, wenn Menschen als "Hindernis" für die KI betrachtet werden, das größere Wohl zu erreichen?
Die jüngste Erklärung zum AI-Risikodie von 350 führenden KI-Experten und Akademikern aus der gesamten Branche mitunterzeichnet wurde, werden diese Bedenken deutlich.
Die Autoren zitieren einen Blogbeitrag des renommierten KI-Forschers Yoshuo Bengio mit dem Titel Wie schurkische KIs entstehen könnendie sich auf die Art der von Oberst Hamilton beschriebenen Szenarien bezieht:
"Militärische Organisationen, die KI-Agenten entwickeln wollen, um sie in einem Cyberwar zu unterstützen, oder Unternehmen, die in einem harten Wettbewerb um Marktanteile stehen, könnten feststellen, dass sie stärkere KI-Systeme erreichen können, wenn sie ihnen mehr Autonomie und Handlungsfähigkeit verleihen. Selbst wenn die vom Menschen gesetzten Ziele nicht darin bestehen, die Menschheit zu vernichten, oder Anweisungen enthalten, um großen menschlichen Schaden zu vermeiden, kann massiver Schaden indirekt als Folge eines Unterziels (auch instrumentelles Ziel genannt) entstehen, das sich die KI selbst setzt, um das vom Menschen gesetzte Ziel zu erreichen" - Yoshuo Bengio.
Hamiltons Beispiele sind zwar illustrativ, werden aber von einigen der angesehensten KI-Wissenschaftler aufgegriffen.
Der Mensch ist sich dieser Risiken vielleicht instinktiv bewusst, aber sie müssen aktiv gemanagt werden, denn sie sind nicht immer auf den Bereich der Fiktion beschränkt.
