Hunderte alltägliche KI-Apps verbargen einen Hersteller von sexuellen Deepfakes, wie WIRED aufdeckt
Apps, die sich als Haustierfoto-, Sprachlern- und Fitness-Tools ausgaben, aktivierten bei einigen Nutzern im Hintergrund einen Deepfake-Generator. Apple entfernte 19 dieser Apps, nachdem WIRED nachgefragt hatte.
Eine App, die Haustierporträts erstellt und Hamster in Badeshorts kleidet, war in Wirklichkeit nur Tarnung. Viefur gehörte zu einem Netzwerk von über 400 Apps und Websites, die wie alltägliche KI-Tools aussehen, aber eine versteckte Funktion zur Erstellung von Deepfakes mit sexuellem Inhalt von echten Personen aktivieren können, berichtete WIRED am Montag.
Die Forscher entdeckten das Netzwerk, indem sie Links in Tausenden von expliziten Deepfake-Werbeanzeigen auf Facebook und Instagram folgten., laut der WIRED-Untersuchung. Die Anzeigen leiteten die Nutzer zu Apps in den App Stores von Apple und Google weiter.
So funktionierte der Trick
Die Apps gaben sich als Sprachtrainer, Fitnesscoaches und Fotobearbeitungsprogramme aus. Nach der Installation fragte jede App im Hintergrund einen Server an, welche Inhalte angezeigt werden sollten. Der Server überprüfte Angaben wie Herkunft und Sprache des Nutzers und entschied dann zwischen der harmlosen App und einer versteckten Webseite mit expliziten Vorlagen.
Paul Bouchaud, ein führender Forscher der gemeinnützigen Organisation AI Forensics, analysierte den Code. Ein Auslöser schien die Installation einer App nach dem Klicken auf eine Anzeige auf den Plattformen von Meta zu sein. Die versteckte Seite ermöglichte es Nutzern, Fotos von beliebigen Personen hochzuladen und diese in sexuelle und gewalttätige Szenen einzufügen. Solche Tools werden oft als “Nudify”-Tools bezeichnet. Die Bezahlung erfolgte mit In-App-“Diamanten” über Apple Pay und Google Pay.
“Das ist eine organisierte, kommerziell geführte Operation”, sagte Bouchaud gegenüber WIRED. “Sie rechnen nicht damit, dass die Strafverfolgungsbehörden einschreiten, und bisher ist das auch nicht der Fall.”
Die Zahlen
Bouchaud zählte im September 27 Apps im Google Play Store, die zusammen über 350.000 Mal heruntergeladen wurden. Viele waren für alle Altersgruppen geeignet. Eine App, DiffAI, erreichte über 100.000 Downloads, bevor sie entfernt wurde. In Spitzenzeiten wurden wöchentlich etwa 30 neue App-Websites registriert. Maël Le Touz vom Sicherheitsunternehmen Infoblox verknüpfte fast 500 Domains.
Die Spur führt zu chinesischsprachigen Entwicklern und einem Unternehmen aus Hongkong, KeLing Technology Limited. Dieses reagierte nicht auf Anfragen von WIRED.
Was die Plattformen sagten
Apple entfernte 19 Apps, darunter Viefur, nachdem WIRED Kontakt aufgenommen hatte. “Diese Apps entsprachen bei unserer Überprüfung unseren Richtlinien”, sagte Apple-Sprecher Adam Dema. Er erklärte, die Entwickler hätten später die von den Apps geladenen Inhalte ausgetauscht. Google hatte die meisten Apps bereits entfernt und gab keinen Kommentar ab.
Meta gab an, KeLing ab 2025 von der Werbung ausgeschlossen zu haben. Inzwischen hat das Unternehmen gegen 11.600 Werbekonten vorgegangen und 209 Apps für Werbung gesperrt. Trotzdem erschienen zum Zeitpunkt der Veröffentlichung des Berichts von WIRED weiterhin ähnliche Anzeigen und Apps.
Warum es wichtig ist
Ein Eintrag im App Store und eine Altersfreigabe halfen Eltern hier nicht weiter, denn die von Apple und Google freigegebene App war nicht die, die einige Nutzer erhielten. Regulierungsbehörden prüfen KI-Produkte, die Kinder erreichen, bereits eingehend. Australien zeigte sich letzte Woche, Und die App-Überprüfung, die mit dem Genehmigungstag aufhört, ist nun Teil dieses Problems.
