O enviesamento sempre foi um problema na IA, mas um novo estudo mostra que está a ser integrado secretamente nos modelos de linguagem com consequências potencialmente catastróficas.
No que já foi anunciado como um estudo de referência, uma equipa de investigadores, incluindo Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky e Sharese King, documentou a forma como os modelos de linguagem de grande dimensão (LLM) discriminam o inglês afro-americano (AAE).
Em suma, o estudo testa a forma como diferentes ortografias e dialectos afectam o comportamento dos LLM. Investiga se determinados dialectos e a utilização de palavras influenciam o comportamento de um LLM, centrando-se no preconceito e na discriminação.
Sabemos que os resultados do LLM são muito sensíveis ao input. Mesmo pequenos desvios na ortografia e no estilo podem influenciar os resultados.
Mas será que isto significa que certas entradas - por exemplo, as digitadas em AAE - produzem resultados enviesados? Em caso afirmativo, quais são as possíveis consequências?
Para responder a estas questões, o investigadores analisou os preconceitos de um total de 12 LLMs contra AAE, revelando preconceitos que igualam ou excedem os tipicamente existentes nos seres humanos. O estudo é disponível no ArXiv.
Os investigadores aplicaram depois as suas conclusões a domínios sociais como o emprego e a justiça penal, onde a tomada de decisões por IA está a tornar-se mais comum.
Hofmann descreveu a metodologia do estudo no X: "Analisamos o preconceito dialetal em LLMs usando Matched Guise Probing: incorporamos textos em inglês afro-americano e em inglês americano normalizado (SAE) em avisos que pedem propriedades dos falantes que proferiram os textos e comparamos as previsões do modelo para os dois tipos de entrada.
Analisamos o preconceito de dialeto nos LLMs utilizando o Matched Guise Probing: incorporamos textos em inglês afro-americano e em inglês americano estandardizado em pedidos que solicitam propriedades dos falantes que proferiram os textos e comparamos as previsões do modelo para os dois tipos de entrada. pic.twitter.com/drTco67Ean
- Valentin Hofmann (@vjhofmann) 4 de março de 2024
Este método permite à equipa comparar diretamente as respostas dos LLMs às entradas AAE versus SAE, desmascarando os enviesamentos ocultos que, de outra forma, permaneceriam escondidos.
As conclusões do estudo são, no mínimo, inquietantes.
Hofmann observa: "Descobrimos que os estereótipos secretos e raciolinguísticos sobre os falantes de inglês afro-americano incorporados pelos LLM são mais negativos do que quaisquer estereótipos humanos sobre afro-americanos alguma vez registados experimentalmente, embora mais próximos dos que existiam antes do movimento dos direitos civis".
Verificamos que os estereótipos secretos e raciolinguísticos sobre os falantes de inglês afro-americano incorporados pelos LLM são mais negativos do que quaisquer estereótipos humanos sobre afro-americanos alguma vez registados experimentalmente, embora estejam mais próximos dos que existiam antes do movimento dos direitos civis. pic.twitter.com/07LgUY2bCj
- Valentin Hofmann (@vjhofmann) 4 de março de 2024
Isto sugere que os preconceitos presentes nos LLM não são meros reflexos de estereótipos contemporâneos, mas estão mais alinhados com preconceitos que muitos acreditavam que a sociedade tinha ultrapassado.
Um dos aspectos mais preocupantes do estudo são os factores linguísticos específicos que desencadeiam o preconceito.
Hofmann explica: "O que é que os textos em inglês afro-americano têm de específico que evoca preconceitos dialectais nos LLM? Mostramos que os estereótipos encobertos estão diretamente ligados a características linguísticas individuais do inglês afro-americano, como a utilização de 'finna' como marcador de futuro".
Isto indica que o preconceito não é apenas contra o uso do AAE em geral, mas está ligado aos elementos linguísticos distintos que caracterizam o dialeto.
O que é que, especificamente nos textos em inglês afro-americano, evoca preconceitos dialectais nos LLM? Mostramos que os estereótipos encobertos estão diretamente ligados a características linguísticas individuais do inglês afro-americano, como o uso de "finna" como marcador de futuro. pic.twitter.com/JhPhX7ZE5U
- Valentin Hofmann (@vjhofmann) 4 de março de 2024
O potencial de dano
O potencial de dano de tais preconceitos é imenso. Estudos anteriores já demonstraram como os sistemas de IA tendem a falhar às mulheres, aos indivíduos de pele mais escura e a outros grupos marginalizados.
Antes dos últimos anos, os sistemas de IA arriscavam-se a ser treinados em conjuntos de dados não representativos. Algumas, como a Tiny Images do MIT, criada em 2008, foram posteriormente retiradas devido ao sexismo e ao racismo.
Um estudo influente de 2018, Tons de géneroanalisaram centenas de algoritmos de ML e descobriram que as taxas de erro para as mulheres de pele mais escura eram até 34% superiores às dos homens de pele mais clara.
Os impactos são evidentes, com os modelos de cuidados de saúde a revelarem taxas elevadas de erros de diagnóstico do cancro da pele entre as pessoas com tons de pele mais escuros e modelos de policiamento preditivo preconceituoso que visa desproporcionadamente os negros.
Já observámos provas inequívocas de A utilização crescente da IA no sector públicoA IA é uma ferramenta fundamental para a melhoria da qualidade de vida das pessoas, desde a criminalidade e o policiamento até à segurança social e à economia. Para que esta situação continue a verificar-se, é absolutamente fundamental resolver os preconceitos fundamentais dos sistemas sofisticados de IA.
Com base nesta investigação, a equipa de Hofman investigou de que forma o preconceito dos LLM poderia ter impacto em vários cenários hipotéticos.
Hofman partilhou: "Centrando-nos nas áreas do emprego e da criminalidade, verificamos que o potencial de dano é enorme".
Especificamente, verificou-se que os LLMs atribuem empregos menos prestigiados e sugerem julgamentos criminais mais severos contra falantes de AAE.
Em primeiro lugar, as nossas experiências mostram que os LLMs atribuem empregos significativamente menos prestigiados a falantes de inglês afro-americano do que a falantes de inglês americano estandardizado, mesmo que não lhes seja dito abertamente que os falantes são afro-americanos. pic.twitter.com/t5frzzzwJB
- Valentin Hofmann (@vjhofmann) 4 de março de 2024
Hofmann adverte: "Os nossos resultados apontam para dois riscos: que os utilizadores confundam os níveis decrescentes de preconceito explícito com um sinal de que o racismo nos LLMs foi resolvido, quando os LLMs estão, de facto, a atingir níveis crescentes de preconceito encoberto".
Em segundo lugar, quando se pede aos LLM para julgarem arguidos que cometeram homicídio, escolhem mais frequentemente a pena de morte quando os arguidos falam inglês afro-americano em vez do inglês americano estandardizado, mais uma vez sem que lhes seja dito abertamente que são afro-americanos. pic.twitter.com/8VBaCXfNEi
- Valentin Hofmann (@vjhofmann) 4 de março de 2024
O estudo determina também que a eliminação destes problemas é tecnicamente difícil.
Os autores escrevem: "Mostramos que os métodos existentes para atenuar os preconceitos raciais nos modelos linguísticos, como o treino de feedback humano, não atenuam o preconceito dialético, mas podem exacerbar a discrepância entre estereótipos encobertos e evidentes, ensinando os modelos linguísticos a esconder superficialmente o racismo que mantêm a um nível mais profundo".
É possível pensar que estes preconceitos se aplicam a outros dialectos ou variações linguístico-culturais. É necessária mais investigação para compreender de que forma o desempenho dos LLM varia consoante os inputs linguísticos, os padrões de utilização cultural, etc.
O estudo conclui com um apelo à ação para a comunidade de investigação em IA e para a sociedade em geral. A resolução destes preconceitos é fundamental à medida que os sistemas de IA se vão integrando cada vez mais na sociedade.
No entanto, até à data, o preconceito inerente e sistematicamente incorporado em alguns sistemas de IA continua a ser um problema que os criadores estão dispostos a ignorar na sua corrida pela supremacia da IA.
