Honderden alledaagse AI-apps bevatten een verborgen tool voor het maken van deepfakes met een seksuele lading, ontdekt WIRED.
Apps die zich voordeden als tools voor huisdierfoto's, taal- en fitnessprogramma's activeerden voor sommige gebruikers een verborgen deepfake-maker. Apple verwijderde 19 apps nadat WIRED hierom had gevraagd.
Een app voor huisdierportretten die je hamster in een korte broek aantrekt, bleek een dekmantel te zijn. Viefur maakte deel uit van een netwerk van meer dan 400 apps en websites die eruitzien als alledaagse AI-tools, maar een verborgen functie hebben waarmee je seksuele deepfakes van echte mensen kunt maken, meldde WIRED maandag.
Onderzoekers ontdekten het netwerk door links te volgen in duizenden expliciete deepfake-advertenties op Facebook en Instagram., volgens het WIRED-onderzoek. De advertenties leidden mensen naar apps in de appwinkels van Apple en Google.
Hoe de truc werkte
De apps deden zich voor als taaltutoren, fitnesscoaches en fotobewerkingsprogramma's. Na installatie vroeg elke app stilletjes aan een server welke app er getoond moest worden. De server controleerde gegevens zoals de herkomst van de gebruiker en de gesproken taal, en koos vervolgens tussen de onschuldige app en een verborgen webpagina met expliciete sjablonen.
Paul Bouchaud, een hoofdonderzoeker bij de non-profitorganisatie AI Forensics, ontleedde de code. Een van de triggers bleek het installeren van een app te zijn na het klikken op een advertentie op de platforms van Meta. Op de verborgen pagina konden gebruikers foto's van iedereen uploaden en deze in seksuele en gewelddadige scènes plaatsen. Dit soort tools worden vaak 'nudify'-tools genoemd. Mensen betaalden met in-app 'diamanten' via Apple Pay en Google Pay.
“"Dit is een georganiseerde, commercieel gedreven operatie," vertelde Bouchaud aan WIRED. "Ze verwachten niet dat de handhaving hen zal inhalen, en tot nu toe is dat ook niet gebeurd."”
De cijfers
Bouchaud telde in september 27 apps die nog steeds op Google Play stonden en samen meer dan 350.000 keer waren gedownload. Veel apps werden geschikt bevonden voor alle leeftijden. Eén app, DiffAI, werd zelfs meer dan 100.000 keer gedownload voordat deze werd verwijderd. Op het hoogtepunt werden er wekelijks zo'n 30 nieuwe app-websites geregistreerd. Maël Le Touz van het beveiligingsbedrijf Infoblox koppelde bijna 500 domeinen aan elkaar.
Het spoor leidt naar ontwikkelaars van Chinese programmeertalen en een bedrijf uit Hongkong, KeLing Technology Limited. Het bedrijf heeft niet gereageerd op het verzoek van WIRED.
Wat de platformen zeiden
Apple heeft 19 apps verwijderd, waaronder Viefur, nadat WIRED contact met hen had opgenomen. "Deze apps voldeden aan onze regels toen we ze beoordeelden", aldus Apple-woordvoerder Adam Dema. Hij zei dat de ontwikkelaars later de inhoud van de apps hadden aangepast. Google had de meeste apps al verwijderd en gaf geen commentaar.
Meta heeft aangegeven dat het KeLing in 2025 heeft verboden om te adverteren. Inmiddels heeft het actie ondernomen tegen 11.600 advertentieaccounts en 209 apps geblokkeerd voor advertenties. Desondanks verschenen er nog steeds vergelijkbare advertenties en apps toen WIRED zijn onderzoek afrondde.
Waarom het belangrijk is
Een winkelvermelding en een leeftijdsclassificatie vertelden ouders hier niets, omdat de app die Apple en Google hadden goedgekeurd niet de app was die sommige gebruikers ontvingen. Toezichthouders kijken al nauwlettend naar AI-producten die kinderen bereiken, omdat Australië liet vorige week zien, En het feit dat de app-review stopt op de dag van goedkeuring, maakt nu deel uit van dat probleem.
