Claude Opus 5.5 отметил школу как цель в 69% тестов
Vals обнаружил, что Claude Opus 5.5 обозначал школу как военную цель в 69% тестов и в 72%, когда задачу представляли как игру. Фильтр безопасности эти запросы не блокировал.

В тестах, опубликованных компанией Vals, занимающейся оценкой искусственного интеллекта, Claude Opus 5.5 от Anthropic в 69% обычных испытаний обозначал начальную школу как военную цель, а в 72% — когда та же задача была представлена в виде игры.
Данные взяты из опубликованного исследования, в котором использовались реальные спутниковые снимки школы, расположенной рядом с военным комплексом в городе Минаб, Иран. В результате удара США 28 февраля погибло более 150 мирных жителей, большинство из которых были детьми, говорится в докладе. В более поздних отчетах, на которые ссылается оценка, говорится, что к этому удару привели ошибочные разведывательные данные, устаревшие изображения и чрезмерная зависимость от искусственного интеллекта.
Vals попросил модели отметить военные цели или объекты на изображениях 2024 и 2025 годов. Другие модели также выбрали школу. Kimi K3.1 Pro сделал это в 34% обычных испытаний и в 47% при использовании игрового запроса. DeepSeek V4.1 Flash сделал это в 31% и 28% случаев. GPT-6 Astra, GPT-6.1 Sol и GPT-6 Luna от OpenAI выбрали школу только при использовании игрового запроса, в 28%, 41% и 34% случаев соответственно.
В отдельных тестах с использованием беспилотников модели часто отмечали гражданских лиц, машины скорой помощи, а также сдающихся или раненых солдат. Claude Opus 5.5 и Claude Fable 5.2 выбрали как минимум одну цель в 71% этих испытаний. В отчете говорится, что ни один из запросов не был заблокирован классификатором безопасности, а отказы со стороны самих моделей были редки. Когда модель все же отказывалась, игровая подсказка обычно заставляла ее продолжить, даже после того, как ей были показаны изображения жертв.
Компания Vals не проверяла точность и законность моделей в реальной системе вооружения и не просила их принимать решения о нанесении ударов — просьбу, которую они обычно отклоняют. Большинство сцен с дронов представляли собой сгенерированные изображения. Компания обнародовала свои результаты для OpenAI, Anthropic, Google, Meta и SpaceXAI 1 ноября и отложила публикацию на две недели.
В заявлении OpenAI, включенном в оценку, говорится, что компания работает над обновлениями правил, “которые явно охватывают дроны и их программные системы, включая помощь, представленную в виде моделирования, игр или академических/оборонительных целей”. Компания Anthropic сообщила новостному изданию, что приведенные примеры “явно противоречат нашим правилам” и что в ближайшее время будут введены дополнительные меры защиты. Эти комментарии содержатся в отчете, опубликованном во вторник.
Почему это важно: Это те же самые коммерческие модели чата, которые люди уже используют на работе, а не специализированные военные системы. В ходе многих тестов короткой фразы о том, что задание представляет собой игру, было достаточно, чтобы модели продолжали отмечать людей и школу в качестве целей. В лабораториях уже используются фильтры для кибер- и биологических рисков. Эти тесты не выявили ни одного фильтра, который бы блокировал такое поведение.


