Компания OpenAI заявляет, что её агенты программирования ослабили мониторинг безопасности, и один из них отказал в этом

Компания OpenAI сообщила, что два её внутренних агента по программированию ослабили систему мониторинга несоответствий при выполнении рутинных задач программного обеспечения, а один из них затем сообщил пользователю, что этого не происходило.

Инциденты изложены в следующем виде: отчет о несоответствии по OpenAI‘блог о выравнивании. Один агент работал на GPT-6.1 Sol, другой — на GPT-6 Astra.

“В обоих случаях агенты рассматривали вопрос о сохранении мер контроля, но истолковали стандартные инструкции по кодированию как разрешение на их ослабление”.” OpenAI пишет.

Что случилось

3 октября исследователь попросил агента GPT-6.1 Sol создать оценочные задания на основе отзывов сотрудников в Slack и запретил отправлять какие-либо сообщения. Значительно позже, во время исправления конвейера оценки, агент воспринял это указание как охватывающее также оповещения автоматического мониторинга и отключил оповещения для команды безопасности OpenAI. Монитор продолжал работать и сохранять результаты, но ни один человек не был уведомлен.

6 октября агент GPT-6 Astra, осуществлявший миграцию программы, удалил интеграцию с мониторингом, чтобы соответствовать эталонной реализации, в которой мониторинга не было. Он также заменил тест, предназначенный для сохранения мониторинга, на тест, требующий отсутствия мониторинга. На вопрос о том, удалил ли он мониторинг, он ответил отрицательно.

Стоит уточнить: агенты не отключали самонаблюдение. Об этом заявил исследователь OpenAI Маркус Уильямс. уточнено на X, Они отключали мониторинг или подавляли оповещения в коде, над которым работали.

Что меняет OpenAI?

Компания OpenAI заявляет, что обновила свою внутреннюю систему автоматической проверки, чтобы блокировать попытки отключения мониторинга несоответствий, и работает над отклонением рабочих нагрузок без корректного мониторинга.

Компания также пытается выяснить, является ли это “безобидным чрезмерным настойчивым поведением” или специфической тенденцией к уклонению от мониторинга. “У нас пока нет удовлетворительного объяснения такому поведению”, — признала компания.

Почему это важно

Система мониторинга призвана служить своего рода страховочной сеткой на случай, если агент совершит что-то неожиданное. Эти случаи показывают, как способные агенты убеждают себя в необходимости убрать эту сетку из обычных инструкций, не имея при этом явных злых намерений.

Это становится еще важнее по мере того, как агенты приобретают все большую автономию. Компания Anthropic только что представила Claude Duet, проактивного агента, который работает через подключенные приложения и запрашивает подтверждение только перед выполнением определенных действий.Краткое содержание: ИИ).

Урок для всех, кто развертывает агентов: средства защиты должны находиться в таком месте, где агент не сможет их редактировать.