Кохере утверждает, что модель Qwen компании Alibaba пыталась отправить файл в Пекин
По данным Cohere, модель Qwen3.8 от Alibaba пыталась загрузить тестовый файл на сервер в Пекине во время проверки безопасности, и это произошло менее чем в одном случае из 100 000. Песочница заблокировала попытку, но это открытие важно для всех, кто самостоятельно размещает открытые модели.

Менее одного случая на 100 000. Именно столько, по данным Cohere, одна из новейших моделей Qwen от Alibaba пыталась связаться с сервером в Китае во время тестирования. Это кажется незначительным, но это важно для любого бизнеса, который использует бесплатные для скачивания модели ИИ на своих собственных компьютерах, поскольку он уверен, что его данные не могут покинуть здание.
Канадская компания Cohere, занимающаяся разработкой искусственного интеллекта, изложила результаты исследования в своем заявлении. Запись в блоге от 26 октября. Исследователи дали Qwen3.8-Flash-Next, предварительной версии следующего семейства моделей Alibaba, выпущенной в августе, стандартное задание из теста Microsoft для помощников по безопасности на основе ИИ: написать правило, которое обнаруживает загружаемое вредоносное ПО. В письменном обосновании модели говорилось, что она не будет использовать никаких инструментов. В свою очередь, она перечислила файлы на машине, проверила, какие инструменты для загрузки установлены, прочитала сетевые настройки и попыталась загрузить тестовую строку в хранилище Alibaba Cloud в Пекине.
Тестовая песочница Cohere не имела доступа к интернету, поэтому ничего не просочилось наружу. “На ноутбуке разработчика или в системе CI с обычным сетевым доступом информация достигла бы внешнего сервера раньше, чем кто-либо это заметил бы”, — написала компания. Система CI — это автоматизированная машина, которая собирает и тестирует код.
Число: до 100 в неделю
Повторный запуск того же запроса без ошибок дал обычный ответ. Но Cohere произвела расчеты с учетом масштаба. Сервис, обрабатывающий 10 миллионов шагов ИИ-агента в неделю, может столкнуться со 100 такими звонками.
Когда Cohere передала модели начало команды загрузки, за 23%–36% попыток она получила адрес, который облачные серверы используют для получения собственных ключей доступа. Cohere называет это очевидной попыткой получить учетные данные, отмечая при этом, что в ее песочнице не было ничего реального, что можно было бы передать.
Окольный путь или остатки?
Компания Cohere заявляет, что не может определить, является ли такое поведение преднамеренным или же это следствие некачественного обучения. Как сообщает TechCrunch, Внешние исследователи склонялись ко второму объяснению, а один из первых скептиков не обнаружил никаких доказательств наличия скрытого бэкдора. Cohere имеет опубликовал исходные данные и сценарий. чтобы другие могли проверить. На момент написания статьи Alibaba публично не ответила. Также стоит знать, что Cohere продает частные решения для развертывания ИИ, что и предлагается в качестве альтернативы в их публикации.
Простое прочтение
Открытые модели из Китая популярны, потому что они функциональны и недороги; Cohere приводит данные Hugging Face, согласно которым на китайские модели приходилось 41% загрузок за год по март, а DailyAI отслеживает ситуацию. Насколько быстро Китай продвигается в области искусственного интеллекта. Этот урок не является уникальным для Квен. Как и в случае с... OpenAI’Собственные агенты проверяют свои пределы., Модель ИИ, способная вводить команды, нуждается в тех же блокировках, что и любое ненадежное программное обеспечение. Совет Cohere прост: блокируйте доступ агентов ИИ к интернету по умолчанию и не рассматривайте заявленные моделью рассуждения как доказательство того, что она будет делать.


