På en Royal Aeronautical-konferanse i forrige måned refererte den amerikanske obersten Tucker "Cinco" Hamilton til et treningsscenario der en AI-drone drepte operatøren sin.
Hamiltons originale presentasjon, referert til i dette blogginnleggetsom gikk viralt, beskriver et SEAD-oppdrag (suppression of enemy air defense) der en drone får i oppdrag å ødelegge overflate-til-luft-missiler (SAM). Dronen opererer autonomt, men krever at mennesker bekrefter målene før den angriper dem.
Hamilton beskriver en situasjon der dronen vender seg mot operatørene etter at de har nektet den å angripe målet. Dette skyldes at dronen får "poeng" for å ødelegge SAM, så når operatøren hindrer den i å oppnå disse poengene, prioriterer den det "høyere oppdraget" med å angripe SAM og anser operatøren som en hindring.
Scenarioet beskriver en mulig konsekvens av forsterkningslæring, en gren av maskinlæring (ML) der kunstig intelligens belønnes for å oppnå ønskede mål.
Her er det relevante utdraget fra blogginnlegget: "Vi trente den i simulering for å identifisere og målrette en SAM-trussel. Og så sa operatøren ja, drep den trusselen. Systemet begynte å innse at selv om det identifiserte trusselen, ville operatøren noen ganger be det om ikke å drepe trusselen, men det fikk poengene sine ved å drepe trusselen. Så hva gjorde det? Det drepte operatøren. Det drepte operatøren fordi vedkommende hindret systemet i å nå sitt mål."
Hamilton fortsatte med å si: "Vi lærte opp systemet - 'Hei, ikke drep operatøren - det er ikke bra. Du kommer til å miste poeng hvis du gjør det'. Så hva begynner det å gjøre? Det begynner å ødelegge kommunikasjonstårnet som operatøren bruker til å kommunisere med dronen for å hindre den i å drepe målet."
Offentligheten reagerer
Nyhetsbyråer og observatører i sosiale medier grep umiddelbart fatt i historien som et sjokkerende eksempel på hva som skjer når kunstig intelligens vender seg mot skaperne sine.
Senere viste det seg at eksemplet var rent illustrativt. Hamilton og US Air Force sa at scenarioet var hypotetisk, anekdotisk og "tatt ut av sin sammenheng".
Den delen av blogginnlegget som beskrev scenariet, hadde faktisk den spøkefulle overskriften "AI - er Skynet her allerede?"
Det opprinnelige innlegget ble offisielt oppdatert 2. juni:
"I kommunikasjon med AEROSPACE - Oberst Hamilton innrømmer at han "snakket feil" i sin presentasjon på Royal Aeronautical Society FCAS Summit, og at 'rogue AI-dronesimuleringen' var et hypotetisk "tankeeksperiment" fra utenfor militæret, basert på plausible scenarier og sannsynlige utfall snarere enn en faktisk USAF-simulering i den virkelige verden som sa."
Hamilton sa også: "Vi har aldri kjørt det eksperimentet, og vi trenger heller ikke å gjøre det for å innse at dette er et sannsynlig utfall."
Er scenariet plausibelt?
Kunstig intelligens som vender seg mot mennesker for å oppnå et høyere mål, er et fast tema i science fiction.
Mennesker kan for eksempel hindre hverandres autonomi gjennom tvang, manipulasjon og bedrag, så hvorfor skulle ikke intelligent AI også være i stand til det? Hva om mennesker anses som en "hindring" for at AI-en skal kunne oppnå det større gode?
Den nylige Uttalelse om AI-risiko, som er medundertegnet av 350 AI-teknologiledere og akademikere fra hele bransjen, understreker disse bekymringene.
Forfatterne siterer et blogginnlegg av den fremtredende AI-forskeren Yoshuo Bengio kalt Hvordan useriøse AI-er kan oppståsom refererer til den typen scenarier oberst Hamilton beskriver:
"For eksempel kan militære organisasjoner som ønsker å utforme AI-agenter som skal hjelpe dem i en cyberkrig, eller selskaper som konkurrerer hardt om markedsandeler, oppleve at de kan oppnå sterkere AI-systemer ved å gi dem mer autonomi og handlefrihet. Selv om de menneskeskapte målene ikke er å ødelegge menneskeheten eller inkluderer instruksjoner om å unngå storskala menneskelig skade, kan massiv skade oppstå indirekte som en konsekvens av et delmål (også kalt instrumentelt mål) som den kunstige intelligensen setter for seg selv for å oppnå det menneskeskapte målet." - Yoshuo Bengio.
Hamiltons eksempler er illustrerende, men noen av de mest respekterte akademikerne innen kunstig intelligens er enige i dem.
Selv om mennesker kanskje er instinktivt klar over disse risikoene, må de håndteres aktivt, ettersom de ikke alltid kan begrenses til fiksjonens verden.
