Исследование, проведенное Стэнфордской интернет-обсерваторией, выявило более 3200 изображений, на которых подозревается сексуальное насилие над детьми, в базе данных LAION - масштабном индексе онлайн-изображений и подписей к ним, используемом для обучения ИИ-генераторов изображений, таких как Stable Diffusion.
В сотрудничестве с Канадским центром защиты детей и другими организациями, борющимися с насилием, команда из Стэнфорда изучила базу данных и сообщила о своих выводах правоохранительным органам. LAION содержит миллиарды изображений, полученных путем неуправляемого веб-скрепинга.
Более 1000 этих изображений впоследствии были признаны материалами, содержащими сексуальное насилие над детьми. Эта информация была опубликована в документе "Выявление и устранение CSAM в обучающих данных и моделях генеративного ОД."
Исследователи заявили: "Мы обнаружили, что обладание набором данных LAION-5B, заполненным даже в конце 2023 года, подразумевает обладание тысячами нелегальных изображений", - подчеркивая природу набранных из интернета данных и их абсолютно непроверенное и непроверенное содержание.
Генераторы изображений с искусственным интеллектом были замешаны в ряде случаев сексуального насилия над детьми и порнографии. Недавно мужчина из Северной Каролины был заключен в тюрьму на 40 лет после того, как его уличили в хранении сгенерированных искусственным интеллектом изображений насилия над детьми, что стало, возможно, первым в мире примером того, как человека судили за подобное преступление.
LAION, аббревиатура от Large-scale Artificial Intelligence Open Network, незамедлительно удалила свои наборы данных из публичного доступа.
После этого LAION выпустила заявление, в котором подчеркнула свою политику абсолютной нетерпимости к нелегальному контенту и обязательство обеспечивать безопасность своих наборов данных перед их повторной публикацией.
Поскольку эти данные использовались для обучения популярных моделей, они смогут "использовать" их для создания совершенно нового контента, что уже происходит. Расследование показало, что люди создают подобные изображения и продавать их на таких сайтах, как Patreon.
Исследователи отметили, что инструменты искусственного интеллекта также, вероятно, синтезируют криминальный контент, объединяя изображения из отдельных категорий онлайн-изображений - взрослой порнографии и доброкачественных фотографий детей.
Дэвид Тиль, главный технолог Стэнфордской интернет-обсерватории и автор отчета, подчеркнул, как возникают эти проблемы, указав на поспешное развертывание многих проектов ИИ в условиях конкуренции технологий.
Он заявил в интервью: "Взять весь интернет и использовать этот набор данных для обучения моделей - это то, что должно было быть ограничено исследовательской работой, если вообще могло быть, и это не то, что должно быть открыто без гораздо более тщательного внимания".
Стэнфордская интернет-обсерватория призвала тех, кто создает обучающие наборы на основе LAION-5B, либо удалить их, либо сотрудничать с посредниками для очистки материала. Она также рекомендует сделать более старые версии Stable Diffusion, особенно те, которые известны тем, что генерируют откровенные изображения, менее доступными в сети.
Стабильность AI заявили, что они размещают только отфильтрованные версии Stable Diffusion и приняли активные меры по снижению риска злоупотреблений.
Ллойд Ричардсон, директор по информационным технологиям Канадского центра защиты детей, отметил необратимый характер проблемы: "Мы не можем вернуть все назад. Эта модель находится в руках многих людей на их локальных компьютерах".
Прошлые исследования в LAION
Стэнфордское исследование - не первое, в котором начались расследования баз данных, подобных LAION.
В 2021 году исследователи в области компьютерных наук Абеба Бирхане, Винай Удай Прабху и Эммануэль Кахембве опубликовано "Мультимодальные наборы данных: женоненавистничество, порнография и злокачественные стереотипы", в котором анализировался набор данных изображений LAION-400M.
В их статье говорится: "Мы обнаружили, что в наборе данных содержатся проблемные и откровенные изображения и текстовые пары с изнасилованием, порнографией, злобными стереотипами, расистскими и этническими оскорблениями и другим крайне проблематичным контентом".
Исследование также показало, что метки, используемые для изображений, часто отражают или представляют собой сознательные и бессознательные предубеждения, которые, в свою очередь, накладывают предубеждения на модели искусственного интеллекта, используемые для обучения данных.
Многочисленные предыдущие исследования В книге рассматривается связь между предвзятыми наборами данных и предвзятыми результатами работы моделей, в результате чего, например, сексистские или гендерно предвзятые модели оценивают навыки женщин как менее ценные, чем навыки мужчин, дискриминационные и неточные системы распознавания лиц и даже сбои в медицинских системах ИИ, предназначенных для изучения потенциально раковых поражений кожи у людей с более темной кожей.
Таким образом, помимо того, что материалы, связанные с детьми, способствуют незаконному использованию моделей ИИ, проблемы в наборах данных проявляются на протяжении всего жизненного цикла машинного обучения и порой угрожают свободе, социальному положению и здоровью людей.
Реагируя на Стэнфордское исследование X, соавтор вышеупомянутой работы и других, изучающих LAION и связанное с этим влияние базовых данных на результаты моделирования, Абеба Бирхане отметила, что Стэнфорд недостаточно полно обсудил прошлые исследования на эту тему.
Я и мои соавторы провели самое обширное исследование наборов данных LAION (3 научные работы и первое исследование набора данных в 2021 году, демонстрирующее женоненавистничество, порнографию и вредоносные стереотипы).
Тем не менее, в Стэнфордском исследовании нас ни разу не упомянули. Это академическое нарушение. https://t.co/pzhL8b3wBt
- Абеба Бирхане (@Abebab) 21 декабря 2023 года
Бирхане подчеркивает, что это системная проблема: такие академические центры, как Стэнфорд, склонны представлять свои исследования как новаторские, хотя это зачастую не так.
По мнению Бирхана, это свидетельствует о более широкой проблеме "стирания" в академической среде, где исследования, проводимые людьми с разным опытом и за пределами технологического ландшафта США, редко получают справедливое признание.
В октябре мы опубликовали статью о Колониализм ИИдемонстрирует, как знания, активы и наборы данных ИИ гиперлокализованы в нескольких регионах и академических институтах.
В совокупности языковое, культурное и этническое разнообразие постепенно и систематически становится непредставленным в отрасли, как в плане исследований, так и в плане данных и, в свою очередь, результатов моделирования.
Для некоторых представителей отрасли это бомба замедленного действия. При обучении чрезвычайно мощных "сверхразумных" моделей или искусственного интеллекта общего назначения (AGI) наличие такого контента в наборах данных может иметь далеко идущие последствия.
Как отмечают в своем исследовании Бирхане и соавторы: "Растет сообщество исследователей ИИ, которые считают, что путь к искусственному общему интеллекту (AGI) лежит через обучение больших моделей ИИ на "всех доступных данных"".
"Фраза "все доступные данные" часто охватывает большой массив данных, собранных в WWW (т. е. изображения, видео и текст)... [как видно] эти данные включают изображения и текст, которые грубо искажают такие группы, как женщины, воплощают вредные стереотипы, чрезмерно сексуализируют чернокожих женщин и фетишизируют азиатских женщин. Кроме того, крупномасштабные наборы данных, собранные в Интернете, также фиксируют незаконный контент, такой как изображения сексуального насилия, изнасилования и откровенные изображения без согласия".
Компании, занимающиеся разработкой искусственного интеллекта, реагируют на результаты Стэнфордского исследования
OpenAI пояснила, что не использовала базу данных LAION и доработала свои модели, чтобы отказывать в запросах на сексуальный контент с участием несовершеннолетних.
Компания Google, которая использовала набор данных LAION для разработки своей модели преобразования текста в изображения Imagen, решила не обнародовать его после того, как в ходе проверки был обнаружен ряд неприемлемого контента.
Правовые риски, которым подвергают себя разработчики ИИ, используя наборы данных без разбора и без должной проверки, потенциально огромны.
Как считают в Стэнфорде, разработчики должны более тщательно подходить к своим обязанностям при создании моделей и продуктов ИИ.
Кроме того, компаниям, занимающимся разработкой ИИ, необходимо более тесно взаимодействовать с исследовательскими сообществами и разработчиками моделей, чтобы снизить риск, связанный с открытием моделей для таких данных.
Как показали предыдущие исследования, "джейлбрейк" моделей, чтобы заставить их обойти защитные барьеры, - дело простое.
Например, что может случиться, если кто-то взломает чрезвычайно умную систему AGI, обученную жестокому обращению с детьми, дискриминационным материалам, пыткам и так далее?
Это вопрос, на который индустрия затрудняется ответить. Постоянно ссылаться на защитные ограждения, которые постоянно эксплуатируются и манипулируются, - это позиция, которая может надоесть.
