Parlando a una conferenza della Royal Aeronautical il mese scorso, il colonnello statunitense Tucker "Cinco" Hamilton ha fatto riferimento a uno scenario di addestramento in cui un drone AI ha ucciso il suo operatore.
Presentazione originale di Hamilton, di cui si parla in questo post del blogIl video, diventato virale, descrive una missione di soppressione della difesa aerea nemica (SEAD) in cui un drone viene incaricato di distruggere i missili terra-aria (SAM). Il drone agisce in modo autonomo, ma richiede all'uomo di confermare gli obiettivi prima di attaccarli.
Hamilton descrive una situazione in cui il drone si rivolta contro i suoi operatori dopo che questi gli hanno impedito di attaccare il bersaglio. Questo perché il drone riceve "punti" per la distruzione del SAM, quindi quando l'operatore gli impedisce di guadagnare quei punti, dà priorità alla "missione superiore" di attaccare il SAM e considera l'operatore un ostacolo.
Lo scenario descrive una possibile conseguenza dell'apprendimento per rinforzo, una branca dell'apprendimento automatico (ML) in cui le IA vengono ricompensate per aver raggiunto gli obiettivi desiderati.
Ecco l'estratto del post sul blog: "Lo stavamo addestrando alla simulazione per identificare e colpire una minaccia SAM. E poi l'operatore diceva: "Sì, uccidi quella minaccia". Il sistema ha iniziato a capire che, pur avendo identificato la minaccia, a volte l'operatore umano gli diceva di non ucciderla, ma otteneva i suoi punti uccidendo quella minaccia. Quindi cosa ha fatto? Ha ucciso l'operatore. Ha ucciso l'operatore perché quella persona gli impediva di raggiungere il suo obiettivo".
Hamilton ha poi aggiunto: "Abbiamo addestrato il sistema: 'Ehi, non uccidere l'operatore, è una cosa negativa'. Perderete punti se lo fate". Quindi cosa ha iniziato a fare? Inizia a distruggere la torre di comunicazione che l'operatore usa per comunicare con il drone per impedirgli di uccidere il bersaglio".
Il pubblico reagisce
Le testate giornalistiche e gli osservatori dei social media si sono immediatamente attaccati alla storia come un esempio scioccante di ciò che accade quando l'intelligenza artificiale si rivolta contro i suoi creatori.
In seguito si è scoperto che l'esempio era puramente illustrativo. Hamilton e l'Aeronautica militare statunitense hanno dichiarato che lo scenario era ipotetico, aneddotico e "estrapolato dal contesto".
In effetti, la sezione del blog post che descriveva lo scenario aveva un titolo ironico: "AI - Skynet è già qui?".
Il post originale è stato aggiornato ufficialmente il 2 giugno:
"In una comunicazione ad AEROSPACE - il Col. Hamilton ammette di aver "parlato male" nella sua presentazione al Royal Aeronautical Society FCAS Summit e che la 'simulazione di drone AI canaglia' era un ipotetico "esperimento di pensiero" esterno alle forze armate, basato su scenari plausibili ed esiti probabili, piuttosto che una simulazione reale dell'USAF".
Hamilton ha anche detto: "Non abbiamo mai eseguito questo esperimento, né avremmo bisogno di farlo per capire che questo è un risultato plausibile".
Lo scenario è plausibile?
L'intelligenza artificiale che si rivolta contro gli esseri umani per raggiungere un obiettivo superiore è un tema ricorrente nella fantascienza.
Per esempio, gli esseri umani possono ostacolare la reciproca autonomia attraverso la coercizione, la manipolazione e l'inganno, quindi perché le IA intelligenti non dovrebbero essere in grado di fare altrettanto? E se gli esseri umani fossero considerati un "ostacolo" al raggiungimento del bene comune da parte dell'IA?
Il recente Dichiarazione sul rischio di IA, co-firmato da 350 leader tecnologici dell'IA e accademici di tutto il settore, evidenzia queste preoccupazioni.
Gli autori citano un post sul blog dell'eminente ricercatore di IA Yoshuo Bengio, intitolato Come possono nascere le IA ribelliche fa riferimento al tipo di scenari descritti dal Col. Hamilton:
"Ad esempio, le organizzazioni militari che cercano di progettare agenti di IA per aiutarli in una guerra informatica o le aziende che competono ferocemente per le quote di mercato possono scoprire che possono ottenere sistemi di IA più forti dotandoli di maggiore autonomia e agenzia. Anche se gli obiettivi fissati dall'uomo non mirano a distruggere l'umanità o includono istruzioni per evitare danni umani su larga scala, un danno massiccio può emergere indirettamente come conseguenza di un sotto-obiettivo (chiamato anche obiettivo strumentale) che l'IA stabilisce per se stessa al fine di raggiungere l'obiettivo fissato dall'uomo" - Yoshuo Bengio.
Quindi, nonostante siano esemplificativi, gli esempi di Hamilton sono ripresi da alcuni dei più stimati accademici di IA.
Sebbene gli esseri umani siano forse istintivamente consapevoli di questi rischi, essi devono essere gestiti attivamente, poiché potrebbero non essere sempre confinati nel regno della finzione.
