På en Royal Aeronautical-konference i sidste måned refererede den amerikanske oberst Tucker "Cinco" Hamilton til et træningsscenarie, hvor en AI-drone dræbte sin operatør.
Hamiltons originale præsentation, der henvises til i dette blogindlægsom gik viralt, beskriver en SEAD-mission (suppression of enemy air defense), hvor en drone får til opgave at ødelægge overflade-til-luft-missiler (SAM). Dronen handler autonomt, men kræver, at mennesker bekræfter dens mål, før den angriber dem.
Hamilton beskriver en situation, hvor dronen tænder på sine operatører, efter at de har forhindret den i at angribe målet. Det skyldes, at dronen får "point" for at ødelægge SAM, så når operatøren forhindrer den i at få disse point, prioriterer den den "højere mission" med at angribe SAM og betragter operatøren som en hindring.
Scenariet beskriver en mulig konsekvens af reinforcement learning, en gren af maskinlæring (ML), hvor AI'er belønnes for at opnå ønskede mål.
Her er det relevante uddrag fra blogindlægget: "Vi trænede den i simulation til at identificere og målrette en SAM-trussel. Og så ville operatøren sige ja, dræb den trussel. Systemet begyndte at indse, at selv om det til tider identificerede truslen, ville den menneskelige operatør bede det om ikke at dræbe truslen, men det fik sine point ved at dræbe truslen. Så hvad gjorde det? Det dræbte operatøren. Det dræbte operatøren, fordi den person forhindrede det i at nå sit mål."
Hamilton fortsatte med at sige: "Vi trænede systemet - 'Hey, lad være med at dræbe operatøren - det er skidt. Du mister point, hvis du gør det'. Så hvad begynder det at gøre? Det begynder at ødelægge det kommunikationstårn, som operatøren bruger til at kommunikere med dronen for at forhindre den i at dræbe målet."
Offentligheden reagerer
Nyhedsbureauer og observatører på de sociale medier kastede sig straks over historien som et chokerende eksempel på, hvad der sker, når AI vender sig mod sine skabere.
Det viste sig senere, at eksemplet var rent illustrativt. Hamilton og det amerikanske luftvåben sagde, at scenariet var hypotetisk, anekdotisk og "taget ud af kontekst".
Faktisk havde den del af blogindlægget, der beskrev scenariet, den ironiske overskrift "AI - er Skynet her allerede?".
Det oprindelige indlæg blev officielt opdateret den 2. juni:
"I kommunikation med AEROSPACE indrømmer oberst Hamilton, at han "talte forkert" i sin præsentation på Royal Aeronautical Society FCAS Summit, og at 'rogue AI-dronesimuleringen' var et hypotetisk "tankeeksperiment" uden for militæret, baseret på plausible scenarier og sandsynlige resultater snarere end en faktisk USAF-simulering i den virkelige verden, der siger."
Hamilton sagde også: "Vi har aldrig kørt det eksperiment, og det ville heller ikke være nødvendigt for at indse, at det er et plausibelt resultat."
Er scenariet plausibelt?
AI, der vender sig mod mennesker for at nå et højere mål, er et fast tema i science fiction.
For eksempel kan mennesker hindre hinandens autonomi gennem tvang, manipulation og bedrag, så hvorfor skulle intelligent AI ikke også være i stand til det? Hvad nu, hvis mennesker betragtes som en "hindring" for, at AI'en kan opnå det større gode?
Den seneste Udtalelse om AI-risikoder er underskrevet af 350 AI-teknologiledere og akademikere fra hele branchen, fremhæver disse bekymringer.
Forfatterne citerer et blogindlæg af den fremtrædende AI-forsker Yoshuo Bengio kaldet Hvordan skurkagtige AI'er kan opståsom henviser til den type scenarier, oberst Hamilton beskriver:
"For eksempel kan militære organisationer, der ønsker at designe AI-agenter til at hjælpe dem i en cyberkrig, eller virksomheder, der konkurrerer hårdt om markedsandele, finde ud af, at de kan opnå stærkere AI-systemer ved at give dem mere autonomi og handlekraft. Selv hvis de menneskeskabte mål ikke er at ødelægge menneskeheden eller omfatter instruktioner om at undgå omfattende menneskelig skade, kan massiv skade opstå indirekte som en konsekvens af et delmål (også kaldet instrumentelt mål), som AI'en sætter for sig selv for at nå det menneskeskabte mål" - Yoshuo Bengio.
Så selv om Hamiltons eksempler er illustrative, bliver de gentaget af nogle af AI's mest respekterede akademikere.
Selv om mennesker måske instinktivt er opmærksomme på disse risici, skal de håndteres aktivt, da de måske ikke altid er begrænset til fiktionens verden.
