Os agentes de IA estão a executar tarefas complexas orientadas para objectivos com supervisão limitada. Uma equipa de investigadores propôs três medidas que podem aumentar a visibilidade dos agentes de IA para os tornar mais seguros.
A maioria das pessoas pensa na IA em termos de um chatbot, como o ChatGPT. É-lhe dado um texto e ele gera uma resposta. O desenvolvimento realmente empolgante da IA é vê-la ser utilizada como um agente, um sistema que pode executar tarefas de forma autónoma para atingir um objetivo final.
Um exemplo simples é o Coelho R1 dispositivo, que pode utilizar a IA como agente para navegar na Web e reservar um voo para um utilizador. Estes agentes têm uma supervisão limitada sobre a forma como realizam as suas tarefas ou com que outros agentes interagem para atingir os seus objectivos.
Os investigadores investigaram os potenciais riscos que os agentes de IA representam e a forma de os mitigar, aumentando a visibilidade sobre onde, porquê, como e por quem são utilizados determinados agentes de IA.
Os autores do papel foram do Quebec AI Institute, da Universidade de Harvard, da Harvard Law School, da Universidade de Oxford, da Cooperative AI Foundation, da Universidade de Cambridge e da Universidade de Toronto.
Riscos dos agentes de IA
Se for dado a um agente de IA um objetivo a otimizar, este pode cortar caminhos éticos ou legais para atingir o seu objetivo ou agir de formas que podem causar danos substanciais se não houver um humano no circuito.
Os investigadores identificaram cinco riscos principais associados a agentes de IA mal supervisionados.
- Utilização maliciosa - Um interveniente malicioso pouco qualificado pode utilizar um agente altamente capaz para automatizar condutas de ponta a ponta no cibercrime ou desenvolver biológico ou ferramentas químicas.
- Excesso de confiança e falta de poder - A confiança excessiva em agentes de IA para automatizar tarefas complexas em situações de grande risco, como os sistemas financeiros ou jurídicos, pode ter consequências graves.
- Impactos retardados e difusos - Se uma IA for dotada de objectivos a longo prazo, o impacto das más decisões que toma pode só se tornar aparente muito tempo depois de ter sido implementada. Os impactos retardados podem também fazer com que os danos se espalhem por toda a organização ou comunidade antes de serem detectados.
- Riscos multiagentes - Um agente de IA pode ter sido testado como um sistema único, mas podem surgir riscos inesperados quando vários agentes interagem entre si.
- Sub-agentes - Um agente pode decidir que, para atingir o seu objetivo, precisa de criar subagentes de si próprio. Pode chamar várias cópias de si próprio ou afinar outro agente. Sem saber se um agente criou subagentes, é difícil detetar comportamentos prejudiciais.
Como aumentar a visibilidade
Precisamos de estruturas de governação para estabelecer orientações que responsabilizem as principais partes interessadas. Para o conseguir, é essencial uma maior visibilidade dos agentes de IA implementados.
Os investigadores propuseram três formas de o fazer.
- Identificadores de agentes - A garantia de que um agente se identifica permite aos humanos, organizações ou outros agentes gerir as suas interacções com ele. Também ajudaria a associar uma ação a um agente específico e à organização que a criou ou implementou.
- Monitorização em tempo real - A monitorização do comportamento de um agente em tempo real permitiria a um programador assinalar imediatamente violações de regras claras ou monitorizar as interacções do agente com outros agentes. Poderia também assinalar um agente que cria várias instâncias de si próprio, excede os limites financeiros ou utiliza recursos informáticos acima de um determinado limite.
- Registos de atividade - Realisticamente, os danos causados pelos agentes serão detectados após o facto, em vez de serem evitados. Os registos de atividade que registam certas entradas e saídas de um agente seriam úteis para determinar como as coisas correram mal e o que deve ser corrigido.
Se estas medidas fossem implementadas, poderiam ajudar a mitigar os riscos que os agentes de IA apresentam. No entanto, implementar a monitorização em tempo real e os registos de atividade sem violar as leis da privacidade pode ser um desafio.
Estamos definitivamente a afastar-nos das interacções baseadas em aplicações, uma vez que os agentes de IA actuam cada vez mais de forma independente para realizar as tarefas que lhes definimos. Mas há riscos. O documento refere que a gestão destes riscos exigirá vontade política, infra-estruturas sociotécnicas e influência pública. Uma melhor visibilidade do modo exato como os agentes de IA funcionam é crucial para que isso aconteça.
