Как выяснило издание WIRED, сотни обычных приложений с искусственным интеллектом скрывали программу для создания дипфейков сексуального характера.
Приложения, маскирующиеся под инструменты для просмотра фотографий домашних животных, анализа языка и тренировок, активировали скрытый генератор дипфейков для некоторых пользователей. Apple удалила 19 таких приложений после запроса WIRED.
Приложение для создания портретов домашних животных, которое одевает хомячка в пляжные шорты, на самом деле было прикрытием. Как сообщило издание WIRED в понедельник, Viefur входил в сеть из более чем 400 приложений и веб-сайтов, которые выглядят как обычные инструменты искусственного интеллекта, но могут включать скрытую функцию для создания эротических дипфейков реальных людей.
Исследователи обнаружили эту сеть, перейдя по ссылкам в тысячах откровенных рекламных объявлений, созданных с помощью технологии дипфейк, в Facebook и Instagram., согласно расследованию WIRED. Реклама направляла пользователей к приложениям в магазинах Apple и Google.
Как сработал этот трюк
Приложения выдавали себя за языковые репетиторы, тренеров по фитнесу и фоторедакторы. После установки каждое из них незаметно запрашивало у сервера информацию о том, что отображать. Сервер проверял такие данные, как место происхождения пользователя и его язык, а затем выбирал между безобидным приложением и скрытой веб-страницей с откровенными шаблонами.
Пол Бушо, ведущий исследователь некоммерческой организации AI Forensics, разобрал код. Оказалось, что одним из триггеров была установка приложения после клика по рекламе на платформах Meta. Скрытая страница позволяла пользователям загружать фотографии любых людей и размещать их в сценах сексуального и насильственного характера. Такие инструменты часто называют “обнажением”. Пользователи расплачивались внутриигровыми “бриллиантами” через Apple Pay и Google Pay.
“Это организованная, коммерчески управляемая операция, — сказал Бушо изданию WIRED. — Они не ожидают, что правоохранительные органы примут меры, и пока этого не произошло”.“
Цифры
Бушо насчитал 27 приложений, работающих в Google Play в сентябре, которые были загружены более 350 000 раз. Многие из них были оценены как подходящие для всех возрастов. Одно из них, DiffAI, преодолело отметку в 100 000 загрузок, прежде чем было удалено. На пике популярности каждую неделю регистрировалось около 30 новых сайтов приложений. Маэль Ле Туз из компании по обеспечению безопасности Infoblox связал почти 500 доменов.
След ведет к разработчикам, работающим с китайским языком, и гонконгской компании KeLing Technology Limited. Компания не ответила на запрос WIRED.
Что говорили платформы
После обращения издания WIRED компания Apple удалила 19 приложений, в том числе Viefur. “Эти приложения соответствовали нашим правилам, когда мы их проверяли”, — заявил представитель Apple Адам Дема. Он добавил, что разработчики позже заменили контент, загружаемый приложениями. Google уже удалила большинство приложений и отказалась от комментариев.
Компания Meta заявила, что запретила KeLing размещать рекламу в 2025 году. На данный момент она приняла меры в отношении 11 600 рекламных аккаунтов и заблокировала рекламу в 209 приложениях. Тем не менее, на момент завершения расследования WIRED, аналогичная реклама и приложения продолжали появляться.
Почему это важно
Информация в магазине приложений и возрастной рейтинг ничего не говорили родителям, потому что приложение, одобренное Apple и Google, не соответствовало тому приложению, которое получили некоторые пользователи. Регуляторы уже внимательно изучают продукты на основе искусственного интеллекта, предназначенные для детей, поскольку Австралия показала это на прошлой неделе., И теперь одной из проблем является проверка приложений, которая прекращается на этапе утверждения.
