Национальный институт стандартов и технологий США (NIST) выразил обеспокоенность по поводу безопасности предиктивных и генеративных систем искусственного интеллекта.
По словам Апостола Васильева, компьютерного ученого из NIST, несмотря на достижения в области безопасности, эти технологии остаются уязвимыми для различных атак.
В совместный документ под названием "Адверсивное машинное обучение: Таксономия и терминология атак и средств защитыВасильев вместе с коллегами из Северо-Восточного университета и Robust Intelligence классифицируют риски безопасности, которые представляют собой системы искусственного интеллекта.
Васильев заявил: "Несмотря на значительный прогресс, которого достигли ИИ и машинное обучение, эти технологии уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями".
Он также предостерег от компаний, которые утверждают, что предлагают "полностью безопасный ИИ".
Это часть Инициатива NIST по созданию надежного и ответственного ИИи соответствует целям правительства США в области безопасности ИИ. В нем рассматриваются недоброжелательные методы машинного обучения с упором на четыре основные проблемы безопасности: уклонение, отравление, конфиденциальность и атаки на злоупотребления.
Атаки с целью уклонения происходят после развертывания, изменяя входные данные, чтобы запутать системы ИИ. Например, изменение знаков остановки, чтобы автономные автомобили ошибочно воспринимали их как знаки ограничения скорости, или создание обманчивой дорожной разметки, чтобы сбить автомобили с пути.
При отравляющих атаках в процессе обучения вводятся искаженные данные. Это может включать в себя встраивание в обучающие наборы данных часто встречающихся неуместных выражений, что приводит к тому, что чат-бот начинает использовать этот язык в общении с клиентами.
Атаки на конфиденциальность направлены на извлечение конфиденциальной информации об ИИ или его обучающих данных, часто с помощью методов обратного инжиниринга. Это может включать использование ответов чатбота для выявления источников обучения и слабых мест.
Злоумышленные атаки манипулируют легитимными источниками, например веб-страницами, предоставляя системам ИИ ложную информацию, чтобы изменить их работу. Это отличается от атак отравления, которые повреждают сам процесс обучения.
Атаки уклонения подразумевают создание враждебных примеров для обмана систем ИИ во время развертывания, например, неправильное распознавание знаков остановки в автономных автомобилях.
Алина Опреа из Северо-Восточного университета, участвовавшая в проекте исследование, пояснил: "Большинство этих атак довольно легко осуществить, для них требуется минимальное знание системы ИИ и ограниченные возможности противника".
NIST критикуют за связи с аналитическим центром по искусственному интеллекту
Отдельно, были высказаны опасения о планируемом партнерстве по исследованию ИИ между NIST и RAND Corp.
RAND, известная своими связями с технологическими миллиардерами и движение за эффективный альтруизмОн сыграл важную консультативную роль в формировании Указ о безопасности искусственного интеллекта.
Члены Комитета Палаты представителей по науке, космосу и технологиям, в том числе Фрэнк Лукас и Зои Лофгрен, раскритиковали отсутствие прозрачности в этом партнерстве.
Комитет обеспокоен двумя причинами: Во-первых, они задаются вопросом, почему не был проведен конкурсный отбор в RAND для исследования безопасности ИИ.
Обычно, когда правительственные агентства, такие как NIST, предоставляют гранты на исследования, они открывают возможность для различных организаций подать заявку, обеспечивая справедливый процесс отбора. Но в данном случае, похоже, RAND была выбрана без такого процесса.
Во-вторых, есть некоторые сомнения в том, что RAND уделяет особое внимание исследованиям в области ИИ. RAND занимается исследованиями в области ИИ и биозащиты и недавно получила значительное финансирование на эту работу из источников, тесно связанных с технологической индустрией.
