Le meilleur agent de codage ne réussit que 26,4 % des tâches réelles.

26,4 %. C'est la proportion de tâches d'édition d'applications réalisées par de véritables utilisateurs que l'agent de codage le plus performant a entièrement validées sur la nouvelle plateforme de co-conception d'Alibaba, selon une étude d'Alibaba Token Hub et de ses co-auteurs universitaires. Lors de cette même exécution, 69,9 % des critères d'acceptation implicites de chaque tâche ont été atteints en moyenne. La plupart des tâches étaient presque terminées, mais restaient encore inachevées.

Les Document de référence sur la co-conception (arXiv, 26 octobre 2026 ; site du projet à l'adresse codesignbench.github.ioCe système génère 273 tâches à partir de 37 463 requêtes dédupliquées, réparties sur 26 314 sessions de développement réelles. Les agents doivent modifier une application web fonctionnelle à partir d'une requête utilisateur fixe, incluant parfois des pièces jointes (images, fichiers audio, vidéos ou documents). Des experts ont rédigé 2 331 critères d'acceptation cachés. Un premier système d'évaluation par IA note l'application finale à partir du code source et des données du navigateur ; un second système vérifie chaque verdict « Réussi » ou « Partiel » et recherche les ébauches, le code codé en dur et les fonctionnalités inaccessibles.

Que signifient les chiffres principaux ?

Le modèle GPT-6 Astra d'OpenAI a été testé sur dix points d'exécution avec l'environnement Claude Code. Sur l'ensemble des 273 tâches, il a obtenu un score de réussite stricte moyen de 0,699 (environ sept critères sur dix réussis par tâche) et un taux de réussite complète de 26,4 %. En d'autres termes, dans 73,6 % des tâches, au moins un critère n'a pas été respecté. La couverture moyenne des exigences ne signifie pas la mise en œuvre d'une modification complète.

L'écart est plus marqué selon le type de tâche. Sur 100 tâches d'édition multimodale, Astra a réussi 41 % des tâches, avec un taux de réussite stricte moyen de 0,754. Sur 173 tâches d'édition de référentiel (modifications coordonnées entre composants, routes, état et flux de données), le taux de réussite stricte s'est établi à 17,9 %, avec un taux de 0,667. Les modifications de référentiel portant sur trois ou quatre types de modifications ont obtenu des scores inférieurs pour chaque point de terminaison par rapport à celles portant sur un ou deux types. Le taux de réussite stricte cumulé est passé de 0,654 pour les modifications plus ciblées à 0,591 pour les modifications plus générales.

Ce modèle correspond à la manière dont les utilisateurs conçoivent réellement les outils de développement. Une requête qui modifie une seule propriété CSS est différente d'une tâche qui refond la navigation, l'état et un résumé dépendant en une seule étape. Le parcours de test des dépôts est conçu pour que ces requêtes complexes soient fréquentes : 166 des 173 tâches de dépôt nécessitent plusieurs types de modifications.

Pourquoi les anciens tests semblent trop faciles

Les auteurs ont conçu cet ensemble de tests car les anciens benchmarks d'édition atteignent leurs limites dès que les modèles sont capables de boucler, d'exécuter et de corriger leur propre code. Sur 150 tâches d'édition WebCompass, en maintenant constants la grille d'évaluation et le rôle du juge, Qwen 3.7-Plus est passé d'un taux moyen de complétion des fonctionnalités notées de 73,6 % en une seule exécution à 95,1 % avec une exécution automatisée ; Claude Opus 4.8 a atteint 99,4 % avec une exécution automatisée sur le même ensemble de tests. De tels scores ne permettent plus de départager les produits.

Co-Design Bench a privilégié les demandes de session présentant déjà des points de friction (reformulations, suivis ou annulations) et n'évalue que les fonctionnalités opérationnelles dans l'application en cours d'exécution. Les tâches multimodales peuvent demander à un agent d'extraire une valeur d'un reçu ou d'un extrait vidéo tout en assurant la cohérence des totaux et des vues dépendantes. Les tâches de référentiel peuvent associer des limites de nombre d'extraits, la précision de la chronologie et la récupération après une séparation. Un correctif local, même plausible, peut néanmoins laisser une vue liée incorrecte.

Vous voulez que l'IA vous fasse gagner des heures par semaine ? Notre guide gratuit vous explique comment.Téléchargez le guide gratuit →

Qui a dirigé, et qui n'a pas dirigé

Derrière Astra, Claude Opus 5 d'Anthropic et Qwen3.8-Max d'Alibaba affichaient des taux de réussite complets combinés de 18,3 % et 16,5 % respectivement. Grok 4.6 de xAI fermait la marche avec 6,6 % de réussites complètes. Le classement variait selon les types de tests : Qwen3.8-27B se hissait à la deuxième place pour les modifications de dépôt, malgré un classement inférieur pour les tests multimodaux. L'article n'interprète pas cela comme un avantage général du modèle, mais simplement comme la preuve qu'un seul tableau combiné peut masquer des points forts spécifiques à un contexte.

L'utilisation accrue de jetons n'a pas permis de corriger le problème. Lors de l'exécution multimodale, Astra a atteint un taux de réussite stricte de 0,754 avec une médiane de 32 tours, tandis que GLM-5.2 a utilisé 69 tours et un trafic de jetons plusieurs fois supérieur pour un score inférieur. Des ressources de calcul supplémentaires ont permis à certaines exécutions de se prolonger sans que les critères inachevés, bloquant ainsi une passe complète, ne soient traités.

Le harnais déplace le tableau d'affichage

Lorsque l'équipe a fixé deux solveurs et interverti les outils d'analyse (Codex, OpenCode ou Qwen Code), les scores ont varié jusqu'à 16,2 points de pourcentage lors des modifications de dépôts. Le modèle le plus performant dépendait également de l'outil utilisé. Lors de modifications multimodales, le classement des outils s'est même inversé entre les solveurs. La conclusion de l'article est sans équivoque : il faut présenter les résultats conjointement avec le modèle. Un classement qui ne mentionne que le modèle ne donne qu'une vision partielle de la situation.

Pour une entreprise qui choisit un agent de codage, cela signifie tester la paire que vous allez réellement exécuter — modèle et outils — sur des modifications qui ressemblent à votre backlog, et non pas se fier à un graphique qui répertorie uniquement le modèle.

Ce que le test ne prétend pas

Les limites sont énoncées dans l'article. Chaque tâche correspond à une requête fixe ; l'agent ne peut ni poser de questions complémentaires ni recevoir de corrections en cours de tâche. Les évaluateurs IA peuvent encore commettre des erreurs, malgré la vérification des scores par deux experts en développement front-end sur 200 résultats de modèles de tâches. Le résultat mesure l'exécution autonome selon un critère strict, et non le travail interactif avec une personne. Il ne reflète pas non plus la fréquence à laquelle les humains corrigent le code courant. L'interprétation est plus nuancée : lors de révisions complexes en conditions réelles, même le meilleur résultat a souvent laissé des éléments inachevés.

Cette mise en garde rejoint une tendance que DailyAI a déjà observée ailleurs. METR a fait valoir que les vitesses annoncées peuvent dépasser les preuves que les gens peuvent vérifier., et les propres agents de sécurité d'OpenAI récemment Une étude payante a permis de découvrir 948 failles d'élévation de privilèges sous Linux. — un rappel que les notes attribuées aux agents et les résultats réels sont des mesures différentes.

Pourquoi c'est important

Les fournisseurs continuent de vendre des agents de codage affichant des scores quasi parfaits sur d'anciens tests. Sur cet ensemble de tests réels, le meilleur agent a laissé des éléments inachevés dans environ trois tâches sur quatre. Toute personne achetant ou déployant un agent devrait exiger des taux de réussite complets sur des modifications réalistes, et pour le contexte d'utilisation de ces résultats, et non pas seulement une couverture moyenne des critères.