Une étude menée par l'Observatoire de l'internet de Stanford a identifié plus de 3 200 images d'abus sexuels présumés sur des enfants dans la base de données LAION, un index à grande échelle d'images et de légendes en ligne utilisé pour former des générateurs d'images d'IA tels que Stable Diffusion.
En collaboration avec le Centre canadien de protection de l'enfance et d'autres organisations de lutte contre les abus, l'équipe de Stanford a examiné la base de données et communiqué ses conclusions aux services de police. LAION contient des milliards d'images obtenues par le biais d'une recherche non guidée sur le web.
Plus de 1 000 de ces images ont ensuite été confirmées comme étant des images d'abus sexuels sur des enfants. Ces informations ont été publiées dans un document intitulé "Identifier et éliminer les CSAM dans les données de formation et les modèles ML génératifs."
Les chercheurs ont déclaré : "Nous constatons que la possession d'un ensemble de données LAION-5B peuplé même à la fin de 2023 implique la possession de milliers d'images illégales", soulignant la nature des ensembles de données récupérées sur l'internet et leur contenu totalement non vérifié et non contrôlé.
Les générateurs d'images d'IA ont été impliqués dans un certain nombre d'affaires d'abus sexuels et de pornographie infantile. Un homme de Caroline du Nord a récemment été emprisonné pendant 40 ans après avoir été trouvé en possession d'images d'abus d'enfants générées par l'IA, ce qui constitue peut-être le premier exemple au monde d'une personne jugée pour un tel crime.
LAION, abréviation de Large-scale Artificial Intelligence Open Network (réseau ouvert d'intelligence artificielle à grande échelle), a rapidement retiré ses ensembles de données de l'accès public.
LAION a ensuite publié un communiqué soulignant sa politique de tolérance zéro à l'égard des contenus illégaux et son engagement à garantir la sécurité de ses ensembles de données avant de les republier.
Comme ces données ont été utilisées pour former des modèles populaires, ils pourront les "utiliser" pour générer un contenu entièrement nouveau, ce qui est déjà le cas. Une enquête a révélé que des personnes créent ces types d'images et de contenus. les vendre sur des sites comme Patreon.
Les chercheurs ont noté que les outils d'IA sont également susceptibles de synthétiser des contenus criminels en fusionnant des images provenant de catégories distinctes d'images en ligne - la pornographie adulte et les photos bénignes d'enfants.
David Thiel, technologue en chef à l'Observatoire de l'internet de Stanford et auteur du rapport, a souligné comment ces questions se posent, en évoquant le déploiement précipité de nombreux projets d'IA dans le paysage concurrentiel de la technologie.
Il a déclaré lors d'une interview : "Le fait de prendre un ensemble de données provenant de l'ensemble de l'internet et de les utiliser pour former des modèles est quelque chose qui aurait dû être confiné à une opération de recherche, si tant est qu'il y en ait une, et qui n'aurait pas dû être mis en libre accès sans une attention beaucoup plus rigoureuse".
L'Observatoire de l'Internet de Stanford a demandé à ceux qui créent des jeux d'entraînement basés sur LAION-5B de les supprimer ou de collaborer avec des intermédiaires pour nettoyer le matériel. Il recommande également de rendre moins accessibles en ligne les anciennes versions de Stable Diffusion, en particulier celles qui sont connues pour générer des images explicites.
Stabilité AI a déclaré qu'elle n'hébergeait que des versions filtrées de Stable Diffusion et qu'elle avait pris des mesures proactives pour limiter les risques d'utilisation abusive.
Lloyd Richardson, directeur informatique du Centre canadien de protection de l'enfance, a commenté la nature irréversible du problème en déclarant : "Nous ne pouvons pas revenir en arrière. Ce modèle est entre les mains de nombreuses personnes sur leurs machines locales".
Recherches antérieures dans LAION
L'étude de Stanford n'est pas la première à lancer des investigations sur des bases de données telles que LAION.
En 2021, les chercheurs en informatique Abeba Birhane, Vinay Uday Prabhu et Emmanuel Kahembwe publié "Multimodal datasets : misogyny, pornography, and malignant stereotypes", qui a analysé l'ensemble de données d'images LAION-400M.
Leur article indique : "Nous avons constaté que l'ensemble de données contient des images et des textes explicites et gênants de viol, de pornographie, de stéréotypes malveillants, d'insultes racistes et ethniques, ainsi que d'autres contenus extrêmement problématiques".
Cette étude a également révélé que les étiquettes utilisées pour les images reflétaient ou représentaient souvent des préjugés conscients et inconscients, qui, à leur tour, infligent des préjugés aux modèles d'IA que les données sont utilisées pour former.
Nombreux recherche antérieure a examiné le lien entre des ensembles de données biaisés et des résultats de modèles biaisés, avec des impacts tels que des modèles sexistes ou biaisés en fonction du sexe évaluant les compétences des femmes comme étant de moindre valeur que celles des hommes, des systèmes de reconnaissance faciale discriminatoires et inexacts, et même des défaillances dans des systèmes d'IA médicale conçus pour examiner des lésions cutanées potentiellement cancéreuses chez les personnes à la peau plus foncée.
Ainsi, outre le matériel pédophile abusif qui facilite l'utilisation illicite des modèles d'IA, les problèmes liés aux ensembles de données se manifestent tout au long du cycle de vie de l'apprentissage automatique et finissent parfois par menacer la liberté, la position sociale et la santé des personnes.
Réagissant à l'étude de Stanford sur X, coauteur de l'article susmentionné et d'autres articles portant sur LAION et les effets connexes des données sous-jacentes sur les résultats des modèles, Abeba Birhane a fait remarquer que Stanford n'avait pas suffisamment discuté des recherches antérieures sur ce sujet.
mes collaborateurs et moi-même avons effectué les recherches les plus approfondies sur les ensembles de données LAION (3 articles universitaires et la première enquête sur un ensemble de données en 2021 montrant la misogynie, la pornographie et les stéréotypes malveillants).
Pourtant, l'étude de Stanford ne nous a pas cités une seule fois. il s'agit d'une faute académique https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21 décembre 2023
M. Birhane souligne qu'il s'agit d'un problème systémique, les bastions universitaires comme Stanford ayant tendance à présenter leurs recherches comme pionnières alors que ce n'est souvent pas le cas.
Pour M. Birhane, il s'agit là d'un problème plus large d'"effacement" dans le monde universitaire, où les recherches menées par des personnes d'origines diverses et extérieures au paysage technologique américain sont rarement reconnues à leur juste valeur.
En octobre, nous avons publié un article sur Le colonialisme de l'IAqui montre comment les connaissances, les actifs et les ensembles de données en matière d'IA sont hyperlocalisés dans un petit nombre de régions et d'établissements universitaires.
En combinaison, la diversité linguistique, culturelle et ethnique devient progressivement et systématiquement non représentée dans l'industrie, à la fois en termes de recherche, de données et, à leur tour, de résultats de modèles.
Pour certains acteurs du secteur, il s'agit d'une bombe à retardement. Lors de la formation de modèles "superintelligents" extrêmement puissants ou d'intelligence générale artificielle (AGI), la présence de ce type de contenu dans les ensembles de données pourrait être lourde de conséquences.
Comme le soulignent Birhane et ses collègues dans leur étude : "Il existe une communauté croissante de chercheurs en IA qui pensent qu'il existe une voie vers l'intelligence générale artificielle (AGI) via l'entraînement de grands modèles d'IA avec "toutes les données disponibles"".
"L'expression "toutes les données disponibles" englobe souvent un vaste ensemble de données collectées sur le WWW (c'est-à-dire des images, des vidéos et des textes)... [comme nous l'avons vu], ces données comprennent des images et des textes qui représentent grossièrement des groupes tels que les femmes, incarnent des stéréotypes nuisibles, sexualisent de manière écrasante les femmes noires et fétichisent les femmes asiatiques. En outre, les ensembles de données collectées à grande échelle sur l'internet contiennent également des contenus illégaux, tels que des images d'abus sexuels, de viols et d'images explicites non consensuelles".
Les entreprises du secteur de l'IA réagissent à l'étude de Stanford
OpenAI a précisé qu'elle n'utilisait pas la base de données LAION et qu'elle avait affiné ses modèles pour refuser les demandes de contenus sexuels impliquant des mineurs.
Google, qui a utilisé un ensemble de données LAION pour développer son modèle Imagen de conversion de texte en image, a décidé de ne pas le rendre public après qu'un audit a révélé une série de contenus inappropriés.
Les risques juridiques auxquels s'exposent les développeurs d'IA lorsqu'ils utilisent des ensembles de données sans discernement et sans faire preuve de la diligence requise sont potentiellement énormes.
Comme le suggère Stanford, les développeurs doivent être plus attentifs à leurs responsabilités lorsqu'ils créent des modèles et des produits d'IA.
Par ailleurs, il est essentiel que les entreprises spécialisées dans l'IA s'engagent davantage auprès des communautés de chercheurs et des développeurs de modèles afin de souligner les risques liés à l'exposition des modèles à de telles données.
Comme l'ont montré des études antérieures, il est facile de "jailbreaker" les modèles pour les inciter à contourner les garde-fous.
Par exemple, que se passerait-il si quelqu'un parvenait à pirater un système AGI extrêmement intelligent formé à la maltraitance des enfants, au matériel discriminatoire, à la torture, etc.
C'est une question à laquelle l'industrie a du mal à répondre. Se référer constamment à des garde-fous qui sont exploités et manipulés de manière répétée est une position qui pourrait s'avérer peu convaincante.
