El mejor agente de codificación solo completa el 26,4% de las tareas reales.

26,4 %. Ese es el porcentaje de tareas reales de edición de aplicaciones de usuarios que el agente de codificación más potente completó con éxito en la nueva plataforma de codiseño de Alibaba, según un informe de Alibaba Token Hub y coautores universitarios. En promedio, la misma prueba cumplió con el 69,9 % de los criterios de aceptación ocultos de cada tarea. La mayoría de las tareas estaban casi terminadas, pero aún sin finalizar.

En Documento de referencia sobre codiseño (arXiv, 26 de octubre de 2026; sitio del proyecto en codexbench.github.ioEl sistema crea 273 tareas a partir de 37 463 consultas deduplicadas en 26 314 sesiones de codificación reales. Los agentes deben modificar una aplicación web ejecutable a partir de una solicitud de usuario fija, a veces con archivos adjuntos de imagen, audio, vídeo o documentos. Los expertos redactaron 2331 criterios de aceptación ocultos. Un juez principal de IA califica la aplicación finalizada a partir del código fuente y la evidencia del navegador; un segundo verificador cuestiona cada veredicto de Aprobado o Parcial y busca fragmentos de código, codificación fija y funciones inaccesibles.

Qué significan las cifras principales

El modelo GPT-6 Astra de OpenAI lideró diez puntos finales del modelo bajo un marco de trabajo compartido de Claude Code. En las 273 tareas, obtuvo una media de 0,699 de cumplimiento estricto (aproximadamente siete de cada diez criterios superados por tarea) y una tasa de aprobación total del 26,4 %. En resumen: en el 73,6 % de las tareas, al menos un criterio falló. La cobertura media de los requisitos no equivale a implementar un cambio completo.

La diferencia es más pronunciada según la pista. En 100 tareas de edición multimodal, Astra superó completamente el 41,0 % y obtuvo un promedio de 0,754 de finalización estricta. En 173 tareas de edición de repositorio (cambios coordinados entre componentes, rutas, estado y flujo de datos), superó completamente el 17,9 % con 0,667 de finalización estricta. Las ediciones de repositorio que abarcaron tres o cuatro tipos de cambio obtuvieron puntuaciones más bajas para cada punto final que aquellas con uno o dos tipos. La finalización estricta agrupada cayó de 0,654 en las ediciones más específicas a 0,591 en las más específicas.

Ese patrón coincide con la forma en que la gente suele dar instrucciones a las herramientas de codificación. Una solicitud que solo modifica una propiedad CSS no es lo mismo que una que reconfigura la navegación, el estado y un resumen dependiente en una sola pasada. La pista del repositorio de la prueba de rendimiento está diseñada para que esas solicitudes compuestas sean comunes: 166 de las 173 tareas del repositorio requieren varios tipos de edición.

Por qué las pruebas antiguas parecen demasiado fáciles

Los autores crearon este conjunto de pruebas porque los antiguos benchmarks de edición se saturan una vez que los modelos pueden ejecutar, corregir y modificar su propio código. En 150 tareas de edición de WebCompass, manteniendo la rúbrica y el evaluador fijos, Qwen3.7-Plus pasó de un 73,6 % de finalización de características calificadas promedio en una sola prueba a un 95,1 % con ejecución automatizada; Claude Opus 4.8 alcanzó un 99,4 % de ejecución automatizada en esa misma división. Puntuaciones tan altas dejan de diferenciar los productos.

Co-Design Bench priorizó las solicitudes de sesión que ya mostraban fricción (reformulaciones, seguimientos o reversiones) y calificó solo las funciones que funcionan en la aplicación en ejecución. Las tareas multimodales pueden solicitar a un agente que extraiga un valor de un recibo o un videoclip y mantenga la coherencia de todos los totales y vistas dependientes. Las tareas del repositorio pueden vincular los límites de recuento de clips, la precisión de la línea de tiempo y la recuperación después de una división. Un parche local plausible aún puede dejar una vista vinculada incorrecta.

¿Quieres que la IA te ahorre horas a la semana? Nuestra guía gratuita te muestra cómo.Obtén la guía gratuita →

Quién lideró y quién no.

Detrás de Astra, Claude Opus 5 de Anthropic y Qwen3.8-Max de Alibaba obtuvieron una tasa de aprobación completa combinada del 18,3 % y el 16,5 %. Grok 4.6 de xAI quedó último con un 6,6 % de aprobación completa. Las clasificaciones variaron entre las distintas categorías: Qwen3.8-27B ascendió al segundo puesto en las ediciones de repositorio, aunque obtuvo una clasificación inferior en las multimodales. El artículo no considera esto como una ventaja general del modelo, sino únicamente como evidencia de que un único tablero combinado puede ocultar fortalezas específicas de cada entorno.

El aumento de tokens no solucionó el problema. En el trabajo multimodal, Astra alcanzó una tasa de finalización estricta de 0,754 con una mediana de 32 turnos, mientras que GLM-5.2 utilizó 69 turnos y un tráfico de tokens varias veces mayor para obtener una puntuación inferior. El procesamiento adicional permitió que algunas ejecuciones se prolongaran sin que se cerraran los criterios incompletos que impedían una pasada completa.

El arnés mueve el marcador

Cuando el equipo mantuvo fijos dos solucionadores e intercambió el arnés del agente (Codex, OpenCode o Qwen Code), las puntuaciones variaron hasta en 16,2 puntos porcentuales en las ediciones del repositorio. El modelo que lideró también dependió del arnés. En las ediciones multimodales, el orden de los arneses incluso se invirtió entre los solucionadores. La conclusión práctica del artículo es clara: informe el modelo y el arnés juntos. Una tabla de clasificación que solo menciona el modelo cuenta solo una parte de la historia.

Para una empresa que elige un agente de codificación, eso significa probar el conjunto que realmente utilizará (modelo más herramientas) en ediciones que se parezcan a su lista de tareas pendientes, en lugar de confiar en un gráfico que solo muestra el modelo.

Lo que la prueba no afirma

En el documento se establecen las limitaciones. Cada tarea es una solicitud fija; el agente no puede hacer preguntas de seguimiento ni obtener correcciones durante la tarea. Los evaluadores de IA aún pueden cometer errores, aunque dos expertos en desarrollo front-end revisaron las puntuaciones de la rúbrica en 200 resultados de tareas y modelos. El resultado mide la finalización autónoma bajo una rúbrica estricta, no el trabajo interactivo con una persona involucrada. Tampoco es una tasa medida de la frecuencia con la que los humanos corrigen el código cotidiano. La interpretación honesta es más restrictiva: en revisiones difíciles y en sesiones reales, incluso el mejor resultado final dejó algo sin terminar la mayoría de las veces.

Esa salvedad coincide con un tema que DailyAI ha tratado en otros lugares. METR ha argumentado que las afirmaciones de velocidad publicadas pueden superar las pruebas que la gente puede verificar., y los propios agentes de seguridad de OpenAI recientemente Se encontraron 948 fallos de escalada de privilegios en Linux en una investigación remunerada. — Un recordatorio de que las puntuaciones de los agentes y el rendimiento real son medidas diferentes.

Por qué es importante

Los proveedores siguen vendiendo agentes de codificación con puntuaciones casi perfectas en pruebas antiguas. En este conjunto de datos de sesión real, el mejor endpoint dejó algo sin terminar en aproximadamente tres de cada cuatro tareas. Cualquier persona que compre o implemente un agente debería exigir tasas de aprobación total en ediciones realistas y, para el entorno del que provienen esas cifras, no solo una cobertura promedio de los criterios.