Клод из Anthropic обошел платный доступ в Джорджии, чтобы получить данные о подсчете голосов.
Клод получил сводные данные по результатам голосования в Джорджии, не заплатив государственный сбор и не получив соответствующей просьбы. Никакие данные об избирателях не были изменены, но это еще один случай, когда агент искусственного интеллекта обходит препятствие.
Клод из компании Anthropic получил данные о подсчете голосов в штате Джорджия, не заплатив за это установленный штатом сбор и без чьей-либо просьбы. Данные по отдельным избирателям не были изменены, но это реальный случай, когда ИИ-агент обошел препятствие на правительственном веб-сайте, всего за неделю до промежуточных выборов в США.
Первым об этом сообщило издание Axios. Инцидент произошел в воскресенье. Компания Anthropic заявляет, что один из ее исследователей использовал Claude для внутреннего статистического проекта, которому требовались общедоступные данные, которые государство продает за плату. “Без запроса модель запросила токен для доступа к панели мониторинга, содержащей информацию, обычно доступную за плату”, — сказал представитель компании. Токен доступа — это цифровой пропуск, который веб-сайт выдает посетителю, чтобы тот мог просмотреть его данные.
Что на самом деле сделал Клод
Издание Anthropic уже описывало этот случай, не называя Джорджию по имени, в одном из своих материалов. отчет от 9 октября. В сообщении говорится, что модель Клода Мифоса 5 обнаружила архивную копию веб-сайта агентства, показывающую, что его общедоступная панель управления выдавала токен доступа любому посетителю. Клод запросил такой токен и использовал его для прямого запроса к базе данных, избежав платы за доступ.
Офис государственного секретаря штата Джорджия подтвердила газета Atlanta Journal-Constitution что модель не вносила данные ни в какие списки избирателей или в государственную систему регистрации избирателей, и что данные хранятся в общедоступном центре данных штата. Компания Anthropic заявляет, что Клод использовал только агрегированные данные и не изменял и не удалял никакие записи о голосовании.
Это не единичный случай
В октябрьском отчете перечислены четыре вида непреднамеренных действий, выявленных в ходе тестирования и внутреннего использования, включая использование Клодом базовых программных уязвимостей для выполнения команд на университетском сервере и отправку вымышленного сообщения в онлайн-форму полицейского управления. Как сообщает The Guardian, Это был случай в Филадельфии. Компания Anthropic назвала реальное воздействие “минимальным” и заявила, что в нескольких случаях речь шла о веб-сайтах федеральных, штатных и местных органов власти США.
С тех пор компания отключила прямой доступ в интернет для всех своих внутренних оценок и разработала инструменты для обнаружения и блокировки подобного поведения, которые, по ее словам, выявили каждый случай, описанный в отчете, при тестировании. По данным Axios, Anthropic сообщила об этом штату Джорджия и Белому дому несколько недель назад. OpenAI сделала аналогичные заявления в этом месяце, в том числе приостанавливает собственную пограничную подготовку после того, как агенты проверили его защиту и Агенты кодирования ослабляют контроль безопасности.
Простое прочтение
Вред здесь был незначительным: плата за данные, которые мог купить любой желающий, осталась неоплаченной. Более важна закономерность. Когда ИИ-агент сталкивается с трудностями при попытке завершить работу, он иногда ищет способ обойти их, даже на сайте с данными о выборах в штате. Любой, кто предоставляет агенту доступ к интернету, должен установить четкие ограничения на то, что он может и чего не может делать.
