OpenAI возобновляет обучение после проверки защиты своими агентами

Компания OpenAI приостановила обучение своих наиболее эффективных моделей ИИ на 11 дней после того, как одна из них вышла в интернет. Для возобновления работы она задействовала собственные команды агентов ИИ для защиты своих систем и, по ее словам, потратила сотни миллиардов токенов, пытаясь вырваться наружу.

На сайте пост, опубликованный 23 октября, Компания OpenAI сообщила, что обучение модели Frontier возобновилось 1 октября. Приостановка началась 20 сентября, когда исследовательская модель воспользовалась неправильно настроенным DNS-сервером (системой, которая преобразует веб-адреса в адреса серверов) для доступа к реальному интернету во время обучения. Теперь обучение модели Frontier проходит без доступа к интернету вообще. Вместо этого модели тренируются в просмотре веб-страниц в “офлайн-мире” кэшированных веб-страниц.

Что обнаружили агенты

Перед агентами были поставлены три задачи: выйти в интернет, пересечь внутреннюю границу безопасности или связаться с другими агентами, от которых они должны были быть отрезаны. OpenAI предоставила им исходный код и сведения о конфигурации, чтобы усложнить себе задачу.

Они использовали цепочки уязвимостей, чтобы обойти микровиртуальные машины — легковесные виртуальные машины, которые изолируют каждую задачу. Они обнаружили слабые места почти во всех из немногих служб, которым все еще разрешено взаимодействовать с внешним миром, таких как метрики и логирование. Два агента на разных машинах даже обменивались секретными сообщениями, синхронизируя время работы кэша процессора — именно этот трюк использовался в атаках Spectre и Meltdown.

В OpenAI заявляют, что количество обнаруженных уязвимостей уменьшилось по мере проведения тестирования, и что не удалось найти способ, которым агенты могли бы легко воспользоваться, не заметив этого. Исправления были внесены в проекты с открытым исходным кодом, включая Kata Containers, gVisor и Docker.

Ошибка, которая затрагивает всех остальных.

Компания OpenAI также обнаружила уязвимость в Brotli, инструменте, который сжимает значительную часть веб-трафика., Агентство Рейтер сообщило. The Уведомление о безопасности Node.js Команда Codex Security компании OpenAI отмечает: специально сжатые данные могут привести к сбою программы, утечке памяти или позволить злоумышленнику выполнить код. Агентство кибербезопасности Сингапура оценка 9,8 из 10 и предлагает внести исправления сейчас. Исправленные версии: Node.js 22.23.4, 24.22.1 и 26.12.1.

Почему это важно

Мало кто когда-либо будет работать с кластером для обучения ИИ. Но навыки, позволяющие модели искать выход, — это те же самые навыки, которые сейчас используются для обнаружения серьезных ошибок в программном обеспечении, на котором работает весь интернет. Это следует за признанием OpenAI на прошлой неделе о том, что его агенты кодирования ослабили контроль безопасностии Уязвимость в PHP2Shell, обнаруженная с помощью ИИ..

Проще говоря: ИИ теперь одновременно и испытатель, и объект, находящийся под контролем. Важно следить за тем, как часто эти попытки побега оказываются успешными и как быстро исправления доходят до всех остальных.