Лучший агент для программирования полностью справляется только с 26,4% реальных задач.

26,4%. Такова доля реальных задач по редактированию приложений пользователями, которые самый опытный программист полностью выполнил на новой платформе Co-Design Bench от Alibaba, согласно статье Alibaba Token Hub и ее соавторов из университета. В среднем, за один и тот же запуск соответствовал 69,9% скрытых критериев приемки каждой задачи. Большинство заданий были в основном выполнены, но оставались незавершенными.

Сайт Аналитический документ по совместному проектированию (arXiv, 26 октября 2026 г.; сайт проекта находится по адресу codesignbench.github.ioСистема формирует 273 задачи из 37 463 запросов с удаленными дубликатами, полученных в ходе 26 314 реальных сессий кодирования. Агенты должны доработать работоспособное веб-приложение на основе фиксированного запроса пользователя, иногда с прикрепленными изображениями, аудио, видео или документами. Эксперты разработали 2331 скрытый критерий приемки. Основной судья на основе ИИ оценивает готовое приложение по исходному коду и данным браузера; второй верификатор проверяет каждый вердикт «Пройдено» или «Частично» и ищет заглушки, жестко закодированные данные и недоступные функции.

Что означают основные цифры

Модель GPT-6 Astra от OpenAI успешно выполнила десять заданий на основе общего алгоритма Claude Code. В общей сложности по всем 273 задачам она показала средний показатель строгого выполнения 0,699 — примерно семь из десяти критериев были пройдены в каждой задаче — и 26,4% полностью пройденных заданий. Если рассматривать эти показатели вместе, то в 73,6% задач как минимум один критерий всё же не был выполнен. Среднее покрытие требований не равнозначно полному внедрению изменений.

Разница более заметна по каждому треку. В 100 задачах многомодального редактирования Astra полностью выполнила 41,0% заданий и показала в среднем 0,754 балла за строгое завершение. В 173 задачах редактирования репозитория — скоординированных изменениях компонентов, маршрутов, состояния и потока данных — она полностью выполнила 17,9% заданий с 0,667 баллами за строгое завершение. Редактирование репозитория, охватывающее три или четыре типа изменений, показало более низкие баллы по всем конечным точкам, чем редактирование с одним или двумя типами изменений. Совокупный балл за строгое завершение снизился с 0,654 для более узких задач редактирования до 0,591 для более широких.

Этот шаблон соответствует тому, как люди на самом деле составляют техническое задание для инструментов кодирования. Запрос, который лишь немного изменяет одно свойство CSS, — это не то же самое, что запрос, который за один проход перестраивает навигацию, состояние и зависимое от него описание. В треке репозитория бенчмарка такие составные запросы встречаются часто: 166 из 173 задач репозитория требуют нескольких типов редактирования.

Почему старые тесты кажутся слишком простыми

Авторы создали этот набор тестов, потому что старые тесты редактирования достигают предела своих возможностей, как только модели могут зацикливаться, запускать и исправлять свой собственный код. На 150 задачах редактирования WebCompass, при сохранении критериев оценки и параметров судейства, Qwen3.7-Plus показал рост с 73,6% среднего показателя завершенности оцениваемых функций за один проход до 95,1% при использовании агентного выполнения; Claude Opus 4.8 достиг 99,4% при использовании агентного выполнения на том же этапе. Такие высокие показатели перестают выделять отдельные продукты.

Вместо этого Co-Design Bench отдавал предпочтение запросам на сессии, которые уже демонстрировали проблемы — переформулировки, последующие действия или откаты — и оценивал только те функции, которые работают в запущенном приложении. Мультимодальные задачи могут попросить агента извлечь значение из чека или видеоклипа и обеспечить согласованность всех зависимых итоговых значений и представлений. Задачи репозитория могут связывать ограничения на количество клипов, точность временной шкалы и восстановление после разделения. Правдоподобное локальное исправление все еще может привести к неправильной работе связанного представления.

Хотите, чтобы ИИ экономил вам часы в неделю? Наше бесплатное руководство покажет вам, как это сделать.Получите бесплатное руководство →

Кто был лидером, а кто нет.

За Astra следуют Claude Opus 5 от Anthropic и Qwen3.8-Max от Alibaba с комбинированным показателем полного прохождения тестов (18,3% и 16,5%). Grok 4.6 от xAI занял последнее место с 6,6% полных прохождений. Рейтинги менялись в зависимости от трека: Qwen3.8-27B поднялся на второе место по редактированию репозиториев, даже несмотря на более низкое место по мультимодальному редактированию. В статье это не рассматривается как общее преимущество модели — лишь как доказательство того, что одна объединенная доска может скрывать сильные стороны, специфичные для конкретных условий.

Сжигание большего количества токенов не исправило ситуацию. В многомодальной работе Astra достигла показателя строгого завершения 0,754 со средним числом ходов 32, в то время как GLM-5.2 использовала 69 ходов и в несколько раз больший объем токенов, что привело к более низкому результату. Дополнительные вычислительные ресурсы помогли некоторым запускам затянуться дольше, не закрывая незавершенные критерии, которые блокируют полный проход.

Ремень безопасности перемещает табло.

Когда команда использовала два фиксированных решателя и меняла местами агентскую среду — Codex, OpenCode или Qwen Code — результаты редактирования репозитория изменялись до 16,2 процентных пунктов. То, какая из двух моделей лидировала, также зависело от используемой среды. При многомодальном редактировании порядок использования среды даже менялся местами между решателями. Практический вывод статьи прост: сообщайте о модели и среде вместе. Таблица лидеров, в которой указана только модель, рассказывает лишь часть истории.

Для компании, выбирающей агента для проверки кода, это означает тестирование пары инструментов и модели, которые вы действительно будете использовать, на примерах правок, которые похожи на ваш бэклог, а не доверие к диаграмме, в которой указана только модель.

Что тест не утверждает

Ограничения указаны в статье. Каждая задача представляет собой фиксированный запрос; агент не может задавать дополнительные вопросы или получать исправления в процессе выполнения задачи. Судьи ИИ все еще могут ошибаться, хотя два эксперта по фронтенду проверили оценки по критериям на 200 результатах работы модели и задачи. Результат измеряет автономное завершение в рамках строгих критериев, а не интерактивную работу с участием человека. Это также не показатель того, как часто люди исправляют обычный повседневный код. Честная интерпретация более узкая: при сложных, реальных правках даже лучший конечный результат в большинстве случаев оставлял что-то незавершенным.

Это замечание соответствует тенденции, которую DailyAI отслеживает и в других своих публикациях. Компания METR утверждает, что опубликованные данные о скорости могут превосходить доказательства, которые люди могут проверить., а также собственные агенты безопасности OpenAI, недавно В ходе платного исследования было обнаружено 948 уязвимостей повышения привилегий в Linux. — Напоминаем, что оценки агентов и реальные результаты работы — это разные показатели.

Почему это важно

Производители по-прежнему продают агенты для программирования с почти идеальными результатами на старых тестах. На этом наборе реальных заданий лучший конечный пункт оставил незавершенным примерно три из четырех задач. Любой, кто покупает или развертывает агент, должен запрашивать полные показатели успешного прохождения на реалистичных заданиях, и для той среды разработки, на основе которой были получены эти данные, следует запрашивать не только среднее покрытие критериев, но и показатели для конкретной среды.