Un estudio realizado por el Observatorio de Internet de Stanford identificó más de 3.200 imágenes de presuntos abusos sexuales a menores en la base de datos LAION, un índice a gran escala de imágenes y pies de foto en línea que se utiliza para entrenar a generadores de imágenes de IA como Stable Diffusion.
En colaboración con el Centro Canadiense para la Protección de la Infancia y otras organizaciones de lucha contra los malos tratos, el equipo de Stanford revisó la base de datos y comunicó sus conclusiones a las fuerzas del orden. LAION contiene miles de millones de imágenes obtenidas mediante web-scraping no guiado.
Posteriormente se confirmó que más de 1.000 de estas imágenes eran material de abusos sexuales a menores. La información se publicó en un documento, "Identificación y eliminación de CSAM en datos y modelos de entrenamiento de ML generativo."
Los investigadores declararon: "Descubrimos que estar en posesión de un conjunto de datos LAION-5B poblado incluso a finales de 2023 implica la posesión de miles de imágenes ilegales", lo que subraya la naturaleza de los conjuntos de datos extraídos de Internet y su contenido completamente no verificado ni comprobado.
Los generadores de imágenes por IA se han visto implicados en varios casos de abusos sexuales y pornografía infantil. Recientemente, un hombre de Carolina del Norte fue encarcelado durante 40 años tras ser hallado en posesión de imágenes de abusos a menores generadas por inteligencia artificial, lo que supone quizá el primer ejemplo en el mundo de alguien juzgado por un delito de este tipo.
LAION, abreviatura de Large-scale Artificial Intelligence Open Network (Red Abierta de Inteligencia Artificial a Gran Escala), retiró rápidamente sus conjuntos de datos del acceso público.
LAION emitió entonces un comunicado en el que subrayaba su política de tolerancia cero con los contenidos ilegales y su compromiso de garantizar la seguridad de sus conjuntos de datos antes de volver a publicarlos.
Dado que estos datos se utilizaron para entrenar modelos populares, podrán "utilizarlos" para generar contenidos totalmente nuevos, algo que ya está ocurriendo. Una investigación descubrió que la gente está creando este tipo de imágenes y vendiéndolos en sitios como Patreon.
Los investigadores señalaron que también es probable que las herramientas de IA sinteticen contenidos delictivos fusionando imágenes de distintas categorías de imágenes en línea: pornografía para adultos y fotos benignas de niños.
David Thiel, tecnólogo jefe del Observatorio de Internet de Stanford y autor del informe, subrayó cómo surgen estos problemas, señalando la precipitada implantación de muchos proyectos de IA en el competitivo panorama tecnológico.
Declaró en una entrevista: "Tomar todo un raspado de Internet y hacer ese conjunto de datos para entrenar modelos es algo que debería haberse confinado a una operación de investigación, en todo caso, y no es algo que debería haber sido de código abierto sin una atención mucho más rigurosa."
El Observatorio de Internet de Stanford ha instado a quienes crean conjuntos de entrenamiento basados en LAION-5B a que los borren o colaboren con intermediarios para limpiar el material. También recomienda que las versiones más antiguas de Stable Diffusion, especialmente las conocidas por generar imágenes explícitas, sean menos accesibles en línea.
Estabilidad AI declararon que sólo alojan versiones filtradas de Stable Diffusion y que han tomado medidas proactivas para mitigar los riesgos de uso indebido.
Lloyd Richardson, director informático del Centro Canadiense para la Protección de la Infancia, comentó el carácter irreversible del problema: "No podemos volver atrás. Ese modelo está en manos de mucha gente en sus máquinas locales".
Investigaciones anteriores en LAION
El estudio de Stanford no es el primero que pone en marcha investigaciones sobre bases de datos como LAION.
En 2021, los investigadores informáticos Abeba Birhane, Vinay Uday Prabhu y Emmanuel Kahembwe publicado "Conjuntos de datos multimodales: misoginia, pornografía y estereotipos malignos", que analizaba el conjunto de datos de imágenes LAION-400M.
Su artículo afirma: "Descubrimos que el conjunto de datos contiene imágenes y pares de textos problemáticos y explícitos de violación, pornografía, estereotipos malignos, insultos racistas y étnicos, y otros contenidos extremadamente problemáticos".
Este estudio también descubrió que las etiquetas utilizadas para las imágenes a menudo reflejaban o representaban prejuicios conscientes e inconscientes que, a su vez, infligen prejuicios a los modelos de IA que se utilizan para entrenar los datos.
Numerosos investigaciones anteriores ha examinado la relación entre los conjuntos de datos sesgados y los resultados sesgados de los modelos, con repercusiones que incluyen modelos sexistas o con sesgo de género que califican las aptitudes de las mujeres como de menor valor que las de los hombres, sistemas de reconocimiento facial discriminatorios e inexactos, e incluso fallos en sistemas médicos de IA diseñados para examinar lesiones cutáneas potencialmente cancerosas en quienes tienen la piel más oscura.
Así, además del material abusivo relacionado con menores que facilita usos ilícitos de modelos de IA, los problemas en los conjuntos de datos se manifiestan a lo largo del ciclo de vida del aprendizaje automático para, en ocasiones, acabar amenazando la libertad, la posición social y la salud de las personas.
En respuesta al estudio de Stanford sobre X, coautor de este artículo y de otros que examinan LAION y las repercusiones de los datos subyacentes en los resultados de los modelos, Abeba Birhane señaló que Stanford no había analizado suficientemente las investigaciones anteriores sobre este tema.
mis colaboradores y yo hemos realizado la investigación más exhaustiva de los conjuntos de datos LAION (3 artículos académicos y el primero en investigar el conjunto de datos en 2021 que muestra la misoginia, la pornografía y los estereotipos malignos)
sin embargo, el estudio de Stanford no nos ha citado ni una sola vez. esto es una falta de ética académica https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21 de diciembre de 2023
Birhane subraya que se trata de un problema sistémico, ya que bastiones académicos como Stanford tienden a presentar sus investigaciones como pioneras cuando a menudo no es así.
Para Birhane, esto indica un problema más amplio de "borrado" en el mundo académico, donde la investigación llevada a cabo por personas de diversos orígenes y ajenas al panorama tecnológico estadounidense rara vez recibe el crédito que merece.
En octubre publicamos un artículo sobre AI colonialismoque demuestra cómo el conocimiento, los activos y los conjuntos de datos de la IA están hiperlocalizados en unas pocas regiones e instituciones académicas selectas.
En conjunto, la diversidad lingüística, cultural y étnica está quedando progresiva y sistemáticamente subrepresentada en la industria, tanto en términos de investigación como de datos y, a su vez, de resultados de los modelos.
Para algunos miembros del sector, se trata de una bomba de relojería. A la hora de entrenar modelos "superinteligentes" extremadamente potentes o inteligencia general artificial (AGI), la presencia de este tipo de contenido en los conjuntos de datos podría ser de gran alcance.
Como señalan Birhane y sus co-investigadores en su estudio: "Hay una creciente comunidad de investigadores de IA que creen que existe un camino hacia la Inteligencia Artificial General (IAG) a través del entrenamiento de grandes modelos de IA con "todos los datos disponibles"".
"La frase "todos los datos disponibles" suele englobar un gran acervo de datos recogidos de la WWW (es decir, imágenes, vídeos y texto)...[como se ha visto] estos datos incluyen imágenes y texto que tergiversan groseramente a grupos como las mujeres, encarnan estereotipos nocivos, sexualizan abrumadoramente a las mujeres negras y fetichizan a las asiáticas. Además, los conjuntos de datos recogidos a gran escala en Internet también captan contenidos ilegales, como imágenes de abusos sexuales, violaciones e imágenes explícitas no consentidas".
Las empresas de IA reaccionan al estudio de Stanford
OpenAI aclaró que no utilizó la base de datos LAION y que ha afinado sus modelos para rechazar las solicitudes de contenido sexual que impliquen a menores.
Google, que utilizó un conjunto de datos de LAION para desarrollar su modelo de imagen de texto a imagen, decidió no hacerlo público después de que una auditoría revelara una serie de contenidos inapropiados.
Los riesgos jurídicos a los que se exponen los desarrolladores de IA cuando utilizan conjuntos de datos indiscriminadamente y sin la debida diligencia son potencialmente enormes.
Como sugiere Stanford, los desarrolladores deben ser más cuidadosos con sus responsabilidades a la hora de crear modelos y productos de IA.
Más allá de eso, existe una necesidad crítica de que las empresas de IA se comprometan mejor con las comunidades de investigación y los desarrolladores de modelos para subrayar el riesgo de exponer los modelos a tales datos.
Como se ha demostrado en investigaciones anteriores, es fácil "liberar" los modelos para que se salten los controles de seguridad.
Por ejemplo, ¿qué pasaría si alguien consiguiera encarcelar a un sistema AGI extremadamente inteligente entrenado en el abuso infantil, el material discriminatorio, la tortura, etc.?
Es una pregunta que a la industria le resulta difícil responder. Referirse constantemente a unos guardarraíles que se explotan y manipulan una y otra vez es una postura que podría agotarse.
