WIRED ha descubierto que cientos de aplicaciones de IA de uso cotidiano ocultaban un creador de deepfakes sexuales.
Aplicaciones que se hacían pasar por herramientas para fotos de mascotas, idiomas y entrenamientos activaban un generador de deepfakes oculto para algunos usuarios. Apple retiró 19 aplicaciones después de que WIRED lo solicitara.
Una aplicación para crear retratos de mascotas que viste a tu hámster con pantalones cortos de playa era en realidad una fachada. Viefur pertenecía a una red de más de 400 aplicaciones y sitios web que parecen herramientas de IA comunes, pero que pueden activar una función oculta para crear deepfakes sexuales de personas reales, informó WIRED el lunes.
Los investigadores encontraron la red siguiendo enlaces en miles de anuncios deepfake explícitos en Facebook e Instagram, Según la investigación de WIRED. Los anuncios dirigían a los usuarios a aplicaciones en las tiendas de Apple y Google.
Cómo funcionaba el truco
Las aplicaciones se hacían pasar por tutores de idiomas, entrenadores físicos y editores de fotos. Una vez instaladas, cada una consultaba discretamente a un servidor qué contenido mostrar. El servidor verificaba detalles como la procedencia del usuario y su idioma, y luego elegía entre la aplicación inofensiva y una página web oculta con plantillas explícitas.
Paul Bouchaud, investigador principal de la organización sin fines de lucro AI Forensics, analizó el código. Uno de los desencadenantes parecía ser la instalación de una aplicación tras hacer clic en un anuncio en las plataformas de Meta. La página oculta permitía a los usuarios subir fotos de cualquier persona e insertarlas en escenas sexuales y violentas. Estas herramientas suelen denominarse "desnudez". Los usuarios pagaban con "diamantes" dentro de la aplicación, a través de Apple Pay y Google Pay.
“Se trata de una operación organizada y comercial”, declaró Bouchaud a WIRED. “No esperan que las autoridades los alcancen, y hasta ahora no lo han hecho”.”
Los números
Bouchaud contabilizó 27 aplicaciones disponibles en Google Play en septiembre, con más de 350 000 descargas en total. Muchas estaban clasificadas como aptas para todos los públicos. Una de ellas, DiffAI, superó las 100 000 descargas antes de ser retirada. En su momento de mayor actividad, se registraban unos 30 nuevos sitios web de aplicaciones cada semana. Maël Le Touz, de la empresa de seguridad Infoblox, vinculó casi 500 dominios.
La investigación apunta a desarrolladores de software en chino y a una empresa de Hong Kong, KeLing Technology Limited. Esta última no respondió a la solicitud de información de WIRED.
Lo que dijeron las plataformas
Apple eliminó 19 aplicaciones, entre ellas Viefur, tras la intervención de WIRED. “Estas aplicaciones cumplían con nuestras normas cuando las revisamos”, declaró Adam Dema, portavoz de Apple. Añadió que los desarrolladores posteriormente modificaron el contenido que cargaban las aplicaciones. Google ya había eliminado la mayoría de las aplicaciones y no hizo comentarios al respecto.
Meta anunció que prohibiría la publicidad de KeLing en 2025. Hasta la fecha, ha tomado medidas contra 11.600 cuentas publicitarias y bloqueado la publicidad de 209 aplicaciones. Sin embargo, anuncios y aplicaciones similares seguían apareciendo cuando WIRED finalizó su investigación.
Por qué es importante
Una ficha en la tienda y una clasificación por edades no les dijeron nada a los padres en este caso, porque la aplicación aprobada por Apple y Google no era la que recibieron algunos usuarios. Los reguladores ya están examinando detenidamente los productos de IA que llegan a los niños, ya que Australia lo demostró la semana pasada, Y el proceso de revisión de aplicaciones que se detiene el día de la aprobación ahora forma parte de ese problema.
