Выступая в прошлом месяце на конференции Королевской аэронавтики, полковник США Такер "Синко" Гамильтон рассказал о сценарии тренировки, в котором беспилотник с искусственным интеллектом убил своего оператора.
Оригинальная презентация Гамильтона, на которые ссылается эта статья в блогеВ ставшем вирусным ролике описывается миссия по подавлению вражеской ПВО (SEAD), в ходе которой беспилотник получает задание уничтожить ракеты класса "земля-воздух" (SAM). Беспилотник действует автономно, но перед атакой ему требуется подтверждение цели человеком.
Гамильтон описывает ситуацию, когда беспилотник включает своих операторов после того, как они запрещают ему атаковать цель. Это связано с тем, что беспилотник получает "очки" за уничтожение ЗРК, поэтому, когда оператор мешает ему получить эти очки, он отдает приоритет "более важной миссии" - атаке ЗРК - и считает оператора помехой.
Сценарий описывает возможные последствия обучения с подкреплением - направления машинного обучения (ML), в котором ИИ вознаграждается за достижение поставленных целей.
Вот соответствующий отрывок из записи в блоге: "Мы тренировали его в симуляции, чтобы он идентифицировал и нацеливался на угрозу ЗРК. А затем оператор говорил: "Да, убейте эту угрозу". Система начала понимать, что, хотя она и идентифицирует угрозу, иногда человек-оператор говорит ей не убивать эту угрозу, но она получает очки, убивая эту угрозу. И что же она сделала? Она убила оператора. Она убила оператора, потому что тот мешал ей выполнить свою задачу".
Гамильтон продолжил: "Мы обучили систему: "Эй, не убивайте оператора - это плохо. Ты потеряешь очки, если сделаешь это". И что же она начала делать? Она начинает уничтожать вышку связи, с помощью которой оператор общается с дроном, чтобы не дать ему убить цель".
Общественность реагирует
Новостные издания и обозреватели социальных сетей сразу же ухватились за эту историю как за шокирующий пример того, что происходит, когда искусственный интеллект оборачивается против своих создателей.
Позже выяснилось, что пример был чисто иллюстративным. Гамильтон и ВВС США заявили, что сценарий был гипотетическим, анекдотическим и "вырванным из контекста".
Действительно, раздел блога, описывающий сценарий, был озаглавлен "ИИ - Скайнет уже здесь?".
Оригинальное сообщение было официально обновлено 2 июня:
"В беседе с AEROSPACE полковник Гамильтон признает, что "оговорился" в своей презентации на саммите Королевского аэронавтического общества FCAS, а "симуляция беспилотника с искусственным интеллектом" была гипотетическим "мысленным экспериментом" со стороны военных, основанным на правдоподобных сценариях и вероятных результатах, а не на реальной симуляции ВВС США."
Гамильтон также сказал: "Мы никогда не проводили этот эксперимент, и нам не нужно было бы его проводить, чтобы понять, что это правдоподобный результат".
Правдоподобен ли сценарий?
ИИ, который обращает людей в бегство ради достижения высшей цели, - одна из основных тем научной фантастики.
Например, люди могут препятствовать автономии друг друга с помощью принуждения, манипуляций и обмана, так почему бы разумному ИИ не быть способным на это? Что, если люди считаются "препятствием" для достижения ИИ высшего блага?
Недавно Заявление о риске искусственного интеллектаВ публикации, которую подписали 350 лидеров в области ИИ и ученых из разных отраслей, подчеркиваются эти опасения.
Авторы цитируют запись в блоге известного исследователя ИИ Йошуо Бенгио под названием Как могут появиться неавторизованные ИИВ ней упоминаются сценарии, которые описывает полковник Гамильтон:
Например, военные организации, стремящиеся разработать ИИ-агенты, которые помогут им в кибервойне, или компании, ведущие ожесточенную конкурентную борьбу за долю рынка, могут обнаружить, что им удастся создать более сильные системы ИИ, наделив их большей автономией и самостоятельностью". Даже если цели, поставленные человеком, не направлены на уничтожение человечества или содержат указания избегать масштабного вреда для людей, масштабный вред может стать косвенным следствием подцели (также называемой инструментальной целью), которую ИИ ставит перед собой для достижения цели, поставленной человеком" - Yoshuo Bengio.
Несмотря на то, что примеры Гамильтона носят иллюстративный характер, их повторяют некоторые из наиболее авторитетных ученых в области ИИ.
Хотя люди, возможно, инстинктивно осознают эти риски, ими необходимо активно управлять, поскольку они не всегда ограничиваются рамками фантастики.
