Tijdens een toespraak vorige maand op een Royal Aeronautical Conference verwees de Amerikaanse kolonel Tucker "Cinco" Hamilton naar een trainingsscenario waarbij een AI-drone zijn operator doodde.
Hamilton's oorspronkelijke presentatie, waarnaar in deze blogpost wordt verwezendie viral ging, beschrijft een SEAD-missie (Suppression of enemy Air Defense) waarbij een drone de opdracht krijgt om grond-luchtraketten (SAM's) te vernietigen. De drone werkt autonoom, maar heeft mensen nodig om zijn doelen te bevestigen voordat hij ze aanvalt.
Hamilton beschrijft een situatie waarin de drone zich tegen zijn operators keert nadat ze hem ervan weerhouden het doel aan te vallen. Dit komt omdat de drone 'punten' krijgt voor het vernietigen van de SAM, dus als de operator verhindert dat hij die punten krijgt, geeft hij prioriteit aan de 'hogere missie' van het aanvallen van de SAM en beschouwt hij de operator als een obstakel.
Het scenario beschrijft een mogelijk gevolg van reinforcement learning, een tak van machine learning (ML) waarbij AI's worden beloond voor het behalen van gewenste doelen.
Hier is het relevante fragment uit de blogpost: "We trainden het in simulatie om een SAM-bedreiging te identificeren en aan te vallen. En dan zei de operator ja, dood die dreiging. Het systeem begon zich te realiseren dat, hoewel het de dreiging soms wel identificeerde, de menselijke operator het zou vertellen die dreiging niet te doden, maar het kreeg zijn punten door die dreiging te doden. Dus wat deed het? Het doodde de operator. Het doodde de operator omdat die persoon het systeem ervan weerhield zijn doel te bereiken."
Hamilton zei verder: "We hebben het systeem getraind - 'Hé, vermoord de operator niet, dat is slecht. Je gaat punten verliezen als je dat doet'. Dus wat begint het te doen? Het begint de communicatietoren te vernietigen die de operator gebruikt om met de drone te communiceren om te voorkomen dat hij het doel doodt."
Het publiek reageert
Nieuws en sociale media hebben het verhaal meteen opgepikt als een schokkend voorbeeld van wat er gebeurt als AI zich tegen zijn makers keert.
Later bleek dat het voorbeeld puur illustratief was. Hamilton en de Amerikaanse luchtmacht zeiden dat het scenario hypothetisch, anekdotisch en "uit zijn verband gerukt" was.
Het gedeelte van de blogpost waarin het scenario werd beschreven, had zelfs de ironische kop "AI - is Skynet er al?".
Het oorspronkelijke bericht is officieel bijgewerkt op 2 juni:
"In een mededeling aan AEROSPACE geeft kolonel Hamilton toe dat hij zich "vergist" heeft in zijn presentatie op de Royal Aeronautical Society FCAS Summit en dat de 'schurken AI drone simulatie' een hypothetisch 'gedachte-experiment' was van buiten het leger, gebaseerd op plausibele scenario's en waarschijnlijke uitkomsten in plaats van een werkelijke USAF real-world simulatie zeg maar."
Hamilton zei ook: "We hebben dat experiment nog nooit uitgevoerd en dat zou ook niet nodig zijn om te beseffen dat dit een plausibele uitkomst is."
Is het scenario plausibel?
AI die zich tegen mensen keert om een hoger doel te bereiken, is een belangrijk thema in sciencefiction.
Mensen kunnen bijvoorbeeld elkaars autonomie belemmeren door middel van dwang, manipulatie en misleiding, dus waarom zou intelligente AI dat ook niet kunnen? Wat als mensen worden beschouwd als een 'belemmering' voor de AI om het grotere goed te bereiken?
De recente Verklaring over AI-risico, medeondertekend door 350 AI-technologieleiders en academici uit de hele sector, benadrukt deze zorgen.
De auteurs citeren een blogpost van eminent AI-onderzoeker Yoshuo Bengio genaamd Hoe kwaadaardige AI's kunnen ontstaanwaarin wordt verwezen naar het soort scenario's dat kolonel Hamilton beschrijft:
"Bijvoorbeeld, militaire organisaties die AI-agenten willen ontwerpen om hen te helpen in een cyberoorlog, of bedrijven die hevig concurreren om marktaandeel, kunnen erachter komen dat ze sterkere AI-systemen kunnen krijgen door ze meer autonomie en agency te geven. Zelfs als de door mensen ingestelde doelen niet bedoeld zijn om de mensheid te vernietigen of instructies bevatten om grootschalig menselijk leed te voorkomen, kan grootschalig leed indirect ontstaan als gevolg van een subdoel (ook wel instrumenteel doel genoemd) dat de AI voor zichzelf stelt om het door mensen ingestelde doel te bereiken" - Yoshuo Bengio.
Hoewel de voorbeelden van Hamilton dus illustratief zijn, worden ze herhaald door enkele van de meest gerespecteerde academici op het gebied van AI.
Hoewel mensen zich misschien instinctief bewust zijn van deze risico's, moeten ze actief worden beheerd, omdat ze niet altijd beperkt blijven tot het rijk van de fictie.
