Falando numa conferência da Royal Aeronautical no mês passado, o coronel norte-americano Tucker "Cinco" Hamilton referiu-se a um cenário de treino em que um drone com IA matou o seu operador.
Apresentação original de Hamilton, referido nesta publicação do blogueque se tornou viral, descreve uma missão de supressão da defesa aérea inimiga (SEAD) em que um drone é instruído para destruir mísseis terra-ar (SAMs). O drone actua de forma autónoma, mas necessita que os humanos confirmem os seus alvos antes de os atacar.
Hamilton descreve uma situação em que o drone se vira contra os seus operadores depois de estes o impedirem de atacar o alvo. Isto deve-se ao facto de o drone receber "pontos" por destruir o SAM, pelo que, quando o operador o impede de ganhar esses pontos, dá prioridade à "missão superior" de atacar o SAM e considera o operador uma obstrução.
O cenário descreve uma possível consequência da aprendizagem por reforço, um ramo da aprendizagem automática (AM) em que as IA são recompensadas por atingirem os objectivos desejados.
Eis o excerto relevante da publicação no blogue: "Estávamos a treiná-lo em simulação para identificar e apontar uma ameaça SAM. E depois o operador dizia sim, mata essa ameaça. O sistema começou a aperceber-se de que, embora identificasse a ameaça, por vezes o operador humano dizia-lhe para não a abater, mas ganhava os seus pontos ao abater essa ameaça. Então o que é que ele fazia? Matou o operador. Matou o operador porque essa pessoa estava a impedi-lo de atingir o seu objetivo".
Hamilton prosseguiu: "Treinámos o sistema - 'Não matem o operador - isso é mau. Vais perder pontos se fizeres isso". Então o que é que ele começa a fazer? Começa a destruir a torre de comunicação que o operador usa para comunicar com o drone para o impedir de matar o alvo".
O público reage
As agências noticiosas e os observadores das redes sociais agarraram imediatamente a história como um exemplo chocante do que acontece quando a IA se vira contra os seus criadores.
Mais tarde, verificou-se que o exemplo era meramente ilustrativo. Hamilton e a Força Aérea dos EUA disseram que o cenário era hipotético, anedótico e "retirado do contexto".
Na verdade, a secção do blogue que descrevia o cenário tinha o título irónico "IA - a Skynet já chegou?".
A publicação original foi oficialmente actualizada em 2 de junho:
Em comunicação com a AEROSPACE - o coronel Hamilton admite que "se expressou mal" na sua apresentação na Cimeira FCAS da Royal Aeronautical Society e que a "simulação de drones com IA desonestos" foi uma hipotética "experiência de pensamento" externa às forças armadas, baseada em cenários plausíveis e resultados prováveis, e não uma simulação real da USAF.
Hamilton também disse: "Nunca fizemos essa experiência, nem precisaríamos de a fazer para perceber que este é um resultado plausível".
O cenário é plausível?
A IA que se vira contra os seres humanos para atingir um objetivo mais elevado é um tema recorrente na ficção científica.
Por exemplo, os seres humanos podem obstruir a autonomia uns dos outros através da coerção, da manipulação e do engano, então porque é que a IA inteligente não seria capaz de o fazer também? E se os seres humanos forem considerados uma "obstrução" ao facto de a IA alcançar o bem maior?
A recente Declaração sobre o risco da IA, co-assinado por 350 líderes tecnológicos de IA e académicos de todo o sector, sublinha estas preocupações.
Os autores citam uma publicação no blogue do eminente investigador de IA Yoshuo Bengio intitulada Como podem surgir as IAs desonestasque faz referência ao tipo de cenários que o Coronel Hamilton descreve:
"Por exemplo, as organizações militares que procuram conceber agentes de IA para as ajudar numa guerra cibernética, ou as empresas que competem ferozmente por quotas de mercado, podem achar que podem conseguir sistemas de IA mais fortes dotando-os de mais autonomia e agência. Mesmo que os objectivos definidos pelo ser humano não sejam a destruição da humanidade ou incluam instruções para evitar danos humanos em grande escala, os danos maciços podem surgir indiretamente como consequência de um subobjectivo (também chamado objetivo instrumental) que a IA define para si própria a fim de atingir o objetivo definido pelo ser humano" - Yoshuo Bengio.
Por isso, apesar de serem ilustrativos, os exemplos de Hamilton são repetidos por alguns dos académicos mais respeitados da IA.
Embora os seres humanos estejam talvez instintivamente conscientes destes riscos, estes devem ser geridos de forma ativa, uma vez que nem sempre podem estar confinados aos domínios da ficção.
