Um estudo realizado pelo Stanford Internet Observatory identificou mais de 3200 imagens de suspeitas de abuso sexual de crianças na base de dados LAION, um índice em grande escala de imagens e legendas em linha utilizado para treinar geradores de imagens de IA como o Stable Diffusion.
Em colaboração com o Centro Canadiano de Proteção da Criança e outras organizações anti-abuso, a equipa de Stanford analisou a base de dados e comunicou as suas descobertas às autoridades policiais. O LAION contém milhares de milhões de imagens obtidas através de web-scraping não guiado.
Mais de 1.000 dessas imagens foram posteriormente confirmadas como material de abuso sexual de crianças. A informação foi publicada num documento, "Identificação e eliminação de CSAM em dados e modelos de treino de ML generativo."
Os investigadores afirmaram: "Concluímos que a posse de um conjunto de dados LAION-5B preenchido mesmo no final de 2023 implica a posse de milhares de imagens ilegais", sublinhando a natureza dos conjuntos de dados extraídos da Internet e o seu conteúdo completamente não verificado e não controlado.
Os geradores de imagens de IA têm sido implicados em vários casos de abuso sexual e pornografia infantil. Um homem da Carolina do Norte foi recentemente preso durante 40 anos depois de ter sido encontrado na posse de imagens de abuso de crianças geradas por IA, constituindo talvez o primeiro exemplo no mundo de alguém a ser julgado por um crime deste tipo.
O LAION, abreviatura de Large-scale Artificial Intelligence Open Network, retirou imediatamente os seus conjuntos de dados do acesso público.
A LAION emitiu então uma declaração sublinhando a sua política de tolerância zero em relação a conteúdos ilegais e o seu empenho em garantir a segurança dos seus conjuntos de dados antes de os republicar.
Uma vez que estes dados foram utilizados para treinar modelos populares, poderão "utilizá-los" para gerar conteúdos inteiramente novos, o que já está a acontecer. Uma investigação descobriu que as pessoas estão a criar este tipo de imagens e vendendo-os em sítios como o Patreon.
Os investigadores observaram que as ferramentas de IA também estão provavelmente a sintetizar conteúdos criminosos através da fusão de imagens de categorias distintas de imagens em linha - pornografia para adultos e fotografias benignas de crianças.
David Thiel, tecnólogo principal do Observatório da Internet de Stanford e autor do relatório, sublinhou a forma como estas questões surgem, apontando para a implantação apressada de muitos projectos de IA no competitivo panorama tecnológico.
Numa entrevista, afirmou: "Pegar num conjunto de dados de toda a Internet e utilizá-lo para treinar modelos é algo que deveria ter sido confinado a uma operação de investigação e não deveria ter sido aberto sem uma atenção muito mais rigorosa".
O Observatório da Internet de Stanford instou os criadores de conjuntos de treino baseados no LAION-5B a apagá-los ou a colaborar com intermediários para limpar o material. Recomenda também que as versões mais antigas do Stable Diffusion, em particular as conhecidas por gerarem imagens explícitas, sejam tornadas menos acessíveis em linha.
Estabilidade IA declarou que só aloja versões filtradas da Stable Diffusion e que tomou medidas proactivas para reduzir os riscos de utilização indevida.
Lloyd Richardson, diretor de TI do Canadian Centre for Child Protection, comentou a natureza irreversível do problema, dizendo: "Não podemos voltar atrás. Esse modelo está nas mãos de muitas pessoas nas suas máquinas locais".
Investigação anterior no LAION
O estudo de Stanford não é o primeiro a lançar investigações sobre bases de dados como a LAION.
Em 2021, os investigadores de ciências informáticas Abeba Birhane, Vinay Uday Prabhu e Emmanuel Kahembwe publicado "Multimodal datasets: misogyny, pornography, and malignant stereotypes", que analisou o conjunto de dados de imagens LAION-400M.
O documento afirma: "Descobrimos que o conjunto de dados contém imagens problemáticas e explícitas e pares de textos de violação, pornografia, estereótipos malignos, insultos racistas e étnicos e outros conteúdos extremamente problemáticos".
Este estudo também descobriu que os rótulos utilizados para as imagens reflectiam ou representavam frequentemente preconceitos conscientes e inconscientes, que, por sua vez, infligem preconceitos aos modelos de IA que os dados são utilizados para treinar.
Numerosos investigação anterior examinou a ligação entre conjuntos de dados enviesados e resultados de modelos enviesados, com impactos que incluem modelos sexistas ou enviesados em função do género que classificam as competências das mulheres como menos valiosas do que as dos homens, sistemas de reconhecimento facial discriminatórios e imprecisos e até falhas em sistemas de IA médica concebidos para examinar lesões cutâneas potencialmente cancerígenas em pessoas com pele mais escura.
Assim, para além do material abusivo relacionado com crianças que facilita a utilização ilícita de modelos de IA, os problemas nos conjuntos de dados manifestam-se ao longo de todo o ciclo de vida da aprendizagem automática, acabando, por vezes, por ameaçar a liberdade, a posição social e a saúde das pessoas.
Reagindo ao estudo de Stanford sobre X, coautor do artigo acima referido e de outros que examinam o LAION e os impactos conexos dos dados subjacentes nos resultados dos modelos, Abeba Birhane salientou que Stanford não tinha discutido suficientemente a investigação anterior sobre este tema.
eu e os meus colaboradores realizámos a investigação mais aprofundada dos conjuntos de dados LAION (3 artigos académicos e o primeiro a investigar o conjunto de dados em 2021 que mostra misoginia, pornografia e estereótipos malignos)
no entanto, o estudo de Stanford não nos citou uma única vez. isto é má conduta académica https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21 de dezembro de 2023
Birhane sublinha que se trata de uma questão sistémica, uma vez que os redutos académicos, como Stanford, tendem a apresentar a sua investigação como pioneira, quando muitas vezes não é esse o caso.
Para Birhane, isto indica um problema mais vasto de "apagamento" no meio académico, em que a investigação realizada por pessoas com antecedentes diversos e fora do ambiente tecnológico dos EUA raramente recebe o devido crédito.
Em outubro, publicámos um artigo sobre Colonialismo IAdemonstrando como o conhecimento, os activos e os conjuntos de dados de IA estão hiperlocalizados num número reduzido de regiões e instituições académicas.
Em conjunto, a diversidade linguística, cultural e étnica está a tornar-se progressiva e sistematicamente não representada no sector, tanto em termos de investigação como de dados e, por sua vez, de resultados de modelos.
Para alguns profissionais do sector, trata-se de uma bomba-relógio. Ao treinar modelos "superinteligentes" extremamente poderosos ou inteligência artificial geral (AGI), a presença desse tipo de conteúdo em conjuntos de dados pode ter um grande alcance.
Como Birhane e os seus colegas investigadores referiram no seu estudo: "Há uma comunidade crescente de investigadores de IA que acreditam que existe um caminho para a Inteligência Artificial Geral (AGI) através do treino de grandes modelos de IA com "todos os dados disponíveis".
"A frase "todos os dados disponíveis" engloba frequentemente uma grande quantidade de dados recolhidos na WWW (ou seja, imagens, vídeos e texto)...[como se viu] estes dados incluem imagens e texto que deturpam grosseiramente grupos como as mulheres, incorporam estereótipos nocivos, sexualizam esmagadoramente as mulheres negras e fetichizam as mulheres asiáticas. Além disso, os conjuntos de dados recolhidos em grande escala na Internet também captam conteúdos ilegais, como imagens de abuso sexual, violação e imagens explícitas não consensuais."
As empresas de IA reagem ao estudo de Stanford
A OpenAI esclareceu que não utilizou a base de dados LAION e que aperfeiçoou os seus modelos para recusar pedidos de conteúdos sexuais que envolvam menores.
A Google, que utilizou um conjunto de dados do LAION para desenvolver o seu modelo Imagen de texto para imagem, decidiu não o tornar público depois de uma auditoria ter revelado uma série de conteúdos inadequados.
Os riscos legais a que os criadores de IA se expõem quando utilizam conjuntos de dados indiscriminadamente e sem a devida diligência são potencialmente enormes.
Como sugere Stanford, os programadores têm de ter mais cuidado com as suas responsabilidades quando criam modelos e produtos de IA.
Além disso, há uma necessidade crítica de as empresas de IA se envolverem melhor com as comunidades de investigação e os criadores de modelos para sublinhar o risco de expor os modelos a esses dados.
Tal como demonstrado em estudos anteriores, é fácil "desbloquear" modelos para os persuadir a contornar as barreiras de proteção.
Por exemplo, o que aconteceria se alguém conseguisse desbloquear um sistema AGI extremamente inteligente, treinado em abuso de crianças, material discriminatório, tortura, etc.?
É uma pergunta a que o sector considera difícil de responder. A referência constante a barreiras de proteção que são repetidamente exploradas e manipuladas é uma posição que pode ficar gasta.
