WIRED ha scoperto che centinaia di app di intelligenza artificiale di uso quotidiano nascondevano un programma per la creazione di deepfake a sfondo sessuale.

Un'app per ritratti di animali domestici che vestiva il tuo criceto con pantaloncini da spiaggia era in realtà una copertura. Viefur apparteneva a una rete di oltre 400 app e siti web che sembravano normali strumenti di intelligenza artificiale, ma che potevano attivare una funzione nascosta per creare deepfake a sfondo sessuale di persone reali, come riportato lunedì da WIRED.

I ricercatori hanno scoperto la rete seguendo i collegamenti in migliaia di annunci deepfake espliciti su Facebook e Instagram, secondo l'inchiesta di WIRED. Gli annunci indirizzavano gli utenti alle app presenti negli store di Apple e Google.

Come funzionava il trucco

Le app si presentavano come tutor di lingue, personal trainer e editor di foto. Una volta installate, ciascuna chiedeva silenziosamente a un server cosa mostrare. Il server verificava dettagli come la provenienza dell'utente e la sua lingua, quindi sceglieva tra l'app innocua e una pagina web nascosta contenente modelli espliciti.

Paul Bouchaud, ricercatore di punta presso l'organizzazione no-profit AI Forensics, ha analizzato il codice sorgente. Uno degli elementi scatenanti sembrava essere l'installazione di un'app dopo aver cliccato su un annuncio pubblicitario sulle piattaforme di Meta. La pagina nascosta permetteva agli utenti di caricare foto di chiunque e inserirle in scene a sfondo sessuale e violento. Questi strumenti sono spesso chiamati "strumenti di nudificazione". Gli utenti pagavano con "diamanti" acquistabili all'interno dell'app, tramite Apple Pay e Google Pay.

“"Si tratta di un'operazione organizzata a scopo commerciale", ha dichiarato Bouchaud a WIRED. "Non si aspettano che le forze dell'ordine si mettano al passo, e finora non lo hanno fatto."”

I numeri

Bouchaud ha contato 27 app attive su Google Play a settembre, scaricate complessivamente più di 350.000 volte. Molte erano classificate come adatte a tutte le età. Una, DiffAI, ha superato i 100.000 download prima di essere rimossa. Al culmine del fenomeno, venivano registrati circa 30 nuovi siti web di app ogni settimana. Maël Le Touz della società di sicurezza Infoblox ha collegato quasi 500 domini.

Le indagini conducono a sviluppatori di lingua cinese e a una società di Hong Kong, la KeLing Technology Limited, che non ha rilasciato dichiarazioni a WIRED.

Cosa hanno detto le piattaforme

Apple ha rimosso 19 app, tra cui Viefur, dopo essere stata contattata da WIRED. "Queste app erano conformi alle nostre regole quando le abbiamo esaminate", ha dichiarato il portavoce di Apple, Adam Dema. Ha aggiunto che gli sviluppatori hanno successivamente modificato i contenuti caricati dalle app. Google aveva già rimosso la maggior parte delle app e non ha rilasciato commenti.

Meta ha dichiarato di aver vietato a KeLing di fare pubblicità nel 2025. Ad oggi, ha preso provvedimenti contro 11.600 account pubblicitari e bloccato la pubblicità di 209 app. Nonostante ciò, annunci e app simili continuavano ad apparire al termine della fase di indagine di WIRED.

Perché è importante

La presenza di un elenco nello store e di una classificazione per età non ha fornito alcuna informazione ai genitori, poiché l'app approvata da Apple e Google non era quella che alcuni utenti avevano ricevuto. Le autorità di regolamentazione stanno già esaminando attentamente i prodotti di intelligenza artificiale destinati ai bambini, poiché L'Australia ha mostrato la scorsa settimana, e il processo di revisione delle app che si ferma al giorno dell'approvazione è ormai parte di questo problema.