Según un nuevo informe, los extremistas violentos están utilizando herramientas de IA generativa para crear contenidos a gran escala, sorteando en el proceso las barreras de seguridad y los filtros.
Empresa inteligente Tecnología contra el terrorismo identificó unos 5.000 ejemplos de contenidos generados por IA, incluidas imágenes vinculadas a grupos como Hezbolá y Hamás.
Estas imágenes suelen referirse a temas delicados como la guerra entre Israel y Hamás, lo que indica un uso estratégico de la IA para influir en las narrativas.
Ha habido numerosos ejemplos de imágenes generadas por IA que implican tanto a Israel como a Palestina en atrocidades y sucesos en los que no tuvieron nada que ver. Las falsificaciones profundas plantean una doble amenaza: las imágenes falsas pueden interpretarse como reales y las reales como falsas.
Adam Hadley, director ejecutivo de Tech Against Terrorism, declaró: "Nuestra mayor preocupación es que si los terroristas empiezan a utilizar la IA genérica para manipular imágenes a escala, esto bien podría destruir el hash-sharing como solución. Es un riesgo enorme".
El intercambio de hashes en la moderación de contenidos implica la creación de huellas digitales únicas (hashes) de contenidos nocivos, que luego se comparten entre plataformas. Esto permite a diferentes servicios identificar y eliminar rápidamente estos contenidos, mejorando la eficacia y eficiencia de los esfuerzos de moderación de contenidos.
Este método podría resultar ineficaz si la IA crea contenidos nuevos e irreconocibles.
📰 En las noticias | Así explotan los extremistas violentos las herramientas de IA generativa
Nuestro Director Ejecutivo, Adam Hadley, compartió nuestras últimas reflexiones sobre #AI y proyecto piloto con @Microsoft en @WIRED.
Lea aquí: https://t.co/AUhrNTZibJ pic.twitter.com/yqY95J3L8i
- Tecnología contra el terrorismo (@techvsterrorism) 10 de noviembre de 2023
Desde grupos neonazis que utilizan imágenes racistas y antisemitas generadas por IA hasta el Estado Islámico (EI), que publica guías sobre el uso seguro de herramientas de IA generativa, el alcance del uso indebido de la IA es cada vez mayor.
Los grupos extremistas también están utilizando la IA para crear propaganda multilingüe y mensajes de reclutamiento personalizados.
El problema va más allá de la propaganda extremista. Por ejemplo, la Internet Watch Foundation informó en 20.000 imágenes generadas por IA de abusos sexuales a menores en un único foro de la web oscura en un mes, lo que pone de relieve las implicaciones más amplias del uso indebido de la IA.
Hadley aseguró que existen mecanismos para frenar esta tendencia, y sugirió: "Vamos a asociarnos con Microsoft para averiguar si hay formas de utilizar nuestro archivo de material para crear una especie de sistema de detección de IA gen con el fin de contrarrestar la amenaza emergente de que la IA gen se utilice para contenidos terroristas a gran escala".
Hadley sugiere que una herramienta de este tipo podría estar disponible en múltiples plataformas, lo que permitiría a éstas tomar medidas drásticas contra los contenidos problemáticos generados por IA sin necesidad de desarrollar sus propias herramientas.
Más información sobre el informe
Las operaciones inteligentes de Tech Against Terrorism archivaron más de 5.000 contenidos generados por IA y utilizados por actores terroristas y extremistas violentos (TVE). Destacan que esto representa una pequeña fracción del volumen total de contenidos de TVE identificados anualmente.
En informe cubre principalmente contenidos de ideologías islamistas y de extrema derecha, mostrando una preocupante tendencia de las televisiones de televisión a utilizar la IA generativa para la propaganda.
Principales conclusiones y preocupaciones
Redes de TVE afiliadas al Estado Islámico (EI), simpatizantes de Al Qaeda y neonazis han estado experimentando con la IA generativa.
Exemplos:
- El grupo de soporte técnico de IS publica una guía sobre el uso seguro del generador de contenidos AI.
- Canales de mensajería neonazi que distribuyen imágenes racistas y antisemitas generadas por IA.
- Los propagandistas de extrema derecha utilizan herramientas de imagen generadas por IA para crear memes extremistas.
- Los usuarios favorables al EI afirman haber utilizado la IA para transcribir y traducir propaganda del EI.
- Los medios afines a Al Qaeda están publicando carteles de propaganda generados por AI.
Riesgos potenciales de la explotación de la IA generativa
Según el informe:
- Creación de medios de comunicación: Generación de variantes de imágenes o vídeos para eludir la detección.
- Traducción multilingüe automatizada: Traducir propaganda textual a varios idiomas.
- Propaganda totalmente sintética: Creación de contenidos artificiales, como discursos e imágenes.
- Reciclaje de variantes: Reutilización de propaganda antigua en versiones "nuevas".
- Propaganda personalizada: Personalización de los mensajes para una captación selectiva.
- Subvertir la moderación: Diseñar contenidos para eludir las técnicas de moderación existentes.
Oportunidades y retos:
- Se necesitan soluciones proactivas y esfuerzos de colaboración, como el "red-teaming", para identificar y mitigar los riesgos.
- Los casos de IA a pequeña escala utilizados por los agentes de la ETV señalan una amenaza emergente, que requiere soluciones técnicas y la elaboración de políticas.
Preocupaciones futuras:
- Es probable que los grupos extremistas sigan explorando herramientas de IA para aumentar sus estrategias de propaganda.
- Los medios extremistas violentos no oficiales pueden explotar las herramientas de IA de forma más agresiva debido a la falta de recursos y de material original.
Aunque el riesgo actual de adopción generalizada de la IA generativa por parte de las ETV es bajo, los patrones emergentes indican una amenaza creciente.
Las falsificaciones profundas y otras formas de manipulación apoyadas en la IA suponen un riesgo acuciante que las empresas tecnológicas se esfuerzan por controlar.
