IA no campo de batalha: quem é responsável se correr mal?

27 de agosto de 2023

Crimes de guerra

Num mundo em que os "jogos de guerra" já não se referem apenas a jogos de tabuleiro ou de vídeo, mas a cenários de vida ou morte facilitados pela inteligência das máquinas, a questão da responsabilidade é monumental.

Os militares estão a aumentar a investigação e o investimento em IA.

Alguns analistas definiram um encontro Israel-Palestina de 11 dias em 2021 como o primeiro "Guerra da IAonde as tecnologias israelitas contribuíram para a informação e a projeção no campo de batalha.

Nos últimos meses, ts militares dos EUA criaram um Grupo de trabalho sobre IA generativa e testou com sucesso um jato autónomo alimentado por IA.

O papel crescente da IA na guerra apresenta uma série de dilemas legais e éticos complexos a que ainda não respondemos, apesar de a tecnologia militar alimentada por IA estar a ser utilizada neste preciso momento.

Quem é responsável quando a IA corre mal?

O fabricante de tecnologia militar Rafael "Tecelão do fogo" localiza posições inimigas utilizando sensores e sugere a unidade mais bem posicionada para disparar sobre elas. 

A descrição do produto indica: "O Fire Weaver calcula as regras de combate e orienta a pontaria e os disparos, utilizando o atirador mais adequado para cada alvo adquirido."

"Calcula" é a palavra-chave aqui - O armamento de IA pode reduzir a decisão de destruir um alvo a uma decisão binária de sim/não, mas e se a Fire Weaver confundir uma criança com um soldado inimigo? Ou um camião de ajuda humanitária em vez de um veículo inimigo?

Atualmente, a falta de clareza moral, ética e jurídica é gritante. A IA ocupa um vazio legal e ético, o que poderá ser o caso durante algum tempo, uma vez que o processo legislativo é notoriamente lento - e raramente se depara com uma tecnologia em tão rápida evolução. 

Na sociedade em geral, já existem muitos exemplos de IA que comprometem as pessoas e os seus direitos. Estes exemplos permitem vislumbrar o vazio legislativo e ético criado pela IA e pelas suas várias utilizações. 

Por exemplo, ChatGPT alegado um homem da Geórgia, Mark Walters, foi considerado culpado de desvio de fundos de uma empresa e acusou o professor de direito Jonathan Turley de agressão sexual. O ChatGPT era falso em ambos os casos.

Da mesma forma, a Getty Images e vários artistas, autores e outros criadores lançaram acções judiciais por direitos de autor contra empresas tecnológicas por utilizarem dados de treino para construir os seus modelos. 

Os dados de treino são frequentemente recolhidos de terceiros, como o Common Crawl, e de "bibliotecas sombra" como o Bibliotik, semelhantes a sítios de torrents como o PirateBay. 

Nesse caso, quem é responsável pela violação dos direitos de autor? Os criadores de IA ou os editores de conjuntos de dados? É um círculo de responsabilidade semelhante a um desenho animado, em que cada parte potencialmente culpada aponta para os que estão ao seu lado e, no final, todos escapam à culpa. 

Este cenário ético nebuloso é muito mais arriscado no contexto do armamento de IA e das tácticas militares algorítmicas, em que os cálculos de um modelo podem literalmente determinar a vida ou a morte. 

As organizações militares já estão conscientes da mudança de paradigma apresentada pelo armamento de IA. De acordo com o Departamento de Defesa (DoD), o primeiro dos seus cinco "princípios éticos da inteligência artificial" para utilizações militares é "Responsável", definido como "o pessoal do DoD exercerá níveis adequados de julgamento e cuidado, mantendo-se responsável pelo desenvolvimento, implementação e utilização das capacidades de IA".

Isto significa que, em última análise, um ser humano deve ser responsável pelas acções da máquina. As forças armadas sempre se basearam no princípio de que alguém - normalmente o comandante ou um soldado - deve ser responsabilizado pelas acções tomadas durante a guerra. No entanto, o papel da IA no processo de tomada de decisões é cada vez mais obscuro. 

A primeira questão é: à medida que a IA assume funções mais sofisticadas na seleção de alvos, na vigilância e noutras áreas, será que carregar no botão "Aprovar" equivale a culpa? 

Se as previsões da IA falhassem, por exemplo, resultando em vítimas civis, é duvidoso que alguém aceitasse que "a máquina" fosse a única culpada por um acidente. 

Por sua vez, pode haver situações em que os seres humanos são injustamente culpados pelo seu papel num acidente para o qual não contribuíram, o que o antropólogo M.C. Elish descreve como um "zona de deformação moral." 

A investigação de Elish sobre acidentes industriais e com máquinas sugere que os humanos tendem a absorver a culpa em qualquer acidente, mesmo que a culpa seja da máquina, do algoritmo ou do decisor que aprovou a tecnologia em primeiro lugar. 

A autora recorre a vários exemplos da vida real, como o acidente nuclear de Three Mile Island, na Pensilvânia, e a queda do voo 447 da Air France, que foram em grande parte atribuídos a "erro humano" e não a uma série mais complexa de falhas distribuídas por vários indivíduos e sistemas. 

No que diz respeito às tecnologias autónomas e robóticas, os regulamentos, as leis e as normas ainda estão em formação e podem ser particularmente susceptíveis a incertezas ou mesmo a evasões de responsabilidade", afirma Elish sobre a responsabilidade na era da IA.

Isto também levanta questões sobre o papel dos processos democráticos na guerra e a soberania da tomada de decisões humanas. Quando a Guerra do Vietname foi para o ar nas salas de estar de toda a América, o imediatismo do preço da guerra teve impacto na opinião pública e nas políticas. 

Em contrapartida, o combate assistido por IA poderia eliminar os controlos e equilíbrios sociais do sentimento público e do discurso democrático.

O filósofo e especialista em ética Thomas Metzinger sublinha que as normas éticas não são apenas construções jurídicas, mas também sociais que resultam de processos democráticos.

Se forem os algoritmos a tomar as decisões, o envolvimento humano - e, por conseguinte, a responsabilidade moral - torna-se difuso e redundante. 

Implicações jurídicas internacionais da IA na guerra

Um dos pilares da Convenção de Genebra é o princípio da "distinção", que obriga a distinguir entre combatentes e civis. 

A tecnologia já provou a sua incapacidade de cumprir as promessas de proteção reforçada dos civis, com apenas 10% das pessoas mortas em ataques de drones dos EUA durante a presidência de Obama a serem os alvos pretendidos, de acordo com documentos que vazaram da O Intercetador

Os algoritmos de IA são tão bons quanto os dados com que são treinados e as regras que estão programados para seguir. No que diz respeito à guerra, um algoritmo pode interpretar mal os dados devido ao nevoeiro da guerra, a dados de treino com falhas ou a tácticas inimigas intencionalmente enganadoras. 

O Comité Internacional da Cruz Vermelha (CICV) iniciou debates sobre a legalidade dos sistemas de armas autónomas ao abrigo do direito humanitário internacional em vigor, mas existem poucas definições concretas. 

Determinam que os quadros existentes são inadequados para os novos desafios colocados pela IA, e a Princípios propostos pelo CICV são vagas; por exemplo, "os sistemas de armas autónomos imprevisíveis devem ser expressamente excluídos".

Onde é que estabelecemos o limiar do "imprevisível" quando um erro minúsculo pode ser catastrófico?

Além disso, o campo de batalha está sempre a mudar e apresentará "casos extremos", que são pontos cegos que não são tidos em conta no treino da IA. Construir sistemas de IA que respondam a condições ambientais dinâmicas com os mesmos tempos de reação que os humanos é excecionalmente difícil. 

Embora o armamento de IA possa manter a precisão em cenários típicos do campo de batalha, o que acontece quando o ambiente se afasta daquilo que o modelo pensa ser a "verdade terrestre" ou quando os casos extremos prejudicam a sua precisão?

Erosão da sensibilidade moral

O ato de matar na guerra mudou muito com o advento das estratégias e tácticas militares modernas. 

Durante a Primeira Guerra Mundial, análises históricas e relatos como o polémico livro de S.L.A. Marshall "Homens contra o fogo"sugerem que apenas 15 a 25% dos soldados da linha da frente dispararam as suas armas com a intenção de matar. 

Hoje em dia, um soldado que opere um drone a milhares de quilómetros de distância não sente o impacto emocional e psicológico imediato das suas acções, o que tem sido indicado por uma ocorrência geralmente menor de PTSD e outros problemas de saúde mental em comparação com os que servem no terreno.

A própria conceção da tecnologia militar adaptou-se aos novos paradigmas da "guerra à distância". Os controladores utilizados nos drones têm sido notados pela sua semelhança com os controladores de jogos de vídeo, uma escolha de design que pode não ser acidental.

Os operadores de IA podem tomar decisões de vida ou de morte num ambiente que abstrai as realidades da guerra em pontos de dados e imagens num ecrã, cortando as últimas ligações morais que temos com as vidas das pessoas envolvidas em conflitos. 

O que é que vamos fazer a partir daqui?

À medida que a IA militar evolui para algo que muitos receiam seriamente, a responsabilidade pelos erros e fracassos é atribuída a uma única pessoa, desenvolvedores, organizações ou grupos inteiros parece improvável. 

Quem, ou o quê, fica com a responsabilidade? HComo é que evitamos entrar num futuro em que matar se torna mais mecânico do que humano e em que a responsabilidade ética se dissipa em abstracções algorítmicas? 

Com o tempo, os sistemas artificiais cada vez mais inteligentes transformarão provavelmente o tecido da ética e da responsabilidade, em especial se mostrarem sinais de senciência ou consciência.

Mas isso não explica a forma como esta situação é gerida no presente e, como tantas outras coisas no mundo da IA, há mais perguntas do que respostas.

Junte-se ao futuro


SUBSCREVER HOJE

Claro, conciso e abrangente. Fique a par dos desenvolvimentos da IA com DailyAI

Calças de ganga Sam

Sam é um escritor de ciência e tecnologia que trabalhou em várias startups de IA. Quando não está a escrever, pode ser encontrado a ler revistas médicas ou a vasculhar caixas de discos de vinil.

×

PDF GRATUITO EXCLUSIVO
Fique à frente com o DailyAI

Subscreva a nossa newsletter semanal e receba acesso exclusivo ao último livro eletrónico do DailyAI: 'Mastering AI Tools: Seu guia 2024 para aumentar a produtividade'.

*Ao subscrever a nossa newsletter, aceita a nossa Política de privacidade e o nosso Termos e condições