Уязвимость в Codex от OpenAI поставила под угрозу 97 млн загрузок в месяц
Приложение Codex, помощник программиста от OpenAI, было загружено 96,8 миллиона раз за месяц. Исследователи утверждают, что одно ложное сообщение об ошибке могло позволить злоумышленнику внедрить вредоносный код в будущую версию приложения. OpenAI устранила уязвимость и выплатила первое вознаграждение в размере 1000 долларов.
96,8 миллиона. Именно столько раз была загружена версия Codex, помощника по программированию от OpenAI, с поддержкой командной строки, за 30 дней до 10 ноября. Исследователи в области безопасности утверждают, что один ложный отчет об ошибке мог позволить злоумышленнику внедрить вредоносный код в будущее обновление программы. OpenAI исправила проблему и выплатила исследователям первое вознаграждение в размере 1000 долларов.
Исследователи работают в компании Depi, которая занимается кибербезопасностью. 11 ноября они опубликовали каждый этап атаки. Количество загрузок получено из общедоступной статистики программной библиотеки npm. По словам Depi, пользователям Codex ничего обновлять не нужно.
Как осуществлялась атака
OpenAI хранит код Codex в общедоступном проекте на GitHub, где любой желающий может сообщить об ошибке. Вспомогательный инструмент считывает каждое новое сообщение и предлагает для него метки. Этим вспомогательным инструментом является сам помощник Codex, который получает текст сообщения, смешанный с его собственными инструкциями. Таким образом, автор может скрывать команды в сообщении. Этот приём называется внедрением подсказок.
Depi утверждает, что ей удалось заставить помощника запустить скрытый код, выйти из замкнутого пространства, в котором он работает, и прочитать секретные ключи доступа из памяти компьютера. С помощью этих ключей компания поместила вредоносный файл в хранилище файлов, используемых автоматизированными задачами. Более мощная задача могла затем запустить этот файл. Последним шагом была ловушка, которая предоставляла злоумышленнику ключ, принимаемый библиотекой npm для публикации новых версий Codex.
Что изменил OpenAI
По данным Depi, компания OpenAI немедленно внедрила исправление и выплатила первое вознаграждение в размере 1000 долларов, при этом отчет все еще находится на рассмотрении. Максимальное вознаграждение за самые серьезные ошибки достигает 100 000 долларов без учета бонусов. В начале этого месяца компания повысила ставки вознаграждения.
Рано утром 12 ноября по парижскому времени компания OpenAI заменила помощника в инструменте разметки коротким скриптом. Скрипт запрашивает у модели метки при отключенных инструментах и принимает ответы только в фиксированном формате. Изменения видны в общедоступном списке изменений проекта.
Есть одно замечание. Depi провела полную атаку на собственной тестовой копии, где помощнику было разрешено записывать файлы. Собственный помощник OpenAI с мая использовал более строгий режим только для чтения. Данная настройка отображается в версии файла за соответствующий месяц. Depi не сообщает, сработала бы атака в таком режиме, и не указывает на то, что какие-либо вредоносные обновления достигли пользователей.
Всем остальным рекомендуется подождать некоторое время, прежде чем инструменты автоматически установят новые обновления. В прошлом месяце другая команда получила вознаграждение в размере 5000 долларов за обнаружение уязвимости в общих ссылках чата.
Почему это важно: Искусственный интеллект, способный считывать текст от незнакомцев, можно убедить действовать в соответствии с ним. В данном случае незнакомцу нужно было всего лишь отправить отчет об ошибке, а целью был инструмент, который выполняет код на компьютерах разработчиков десятки миллионов раз в месяц.
