De beste codeerservice voltooit slechts 26,4% van de daadwerkelijke opdrachten volledig.

26,4%. Dat is het percentage van de daadwerkelijke app-bewerkingstaken van gebruikers dat de sterkste codeeragent volledig heeft voltooid op Alibaba's nieuwe Co-Design Bench, volgens een paper van Alibaba Token Hub en co-auteurs van universiteiten. Dezelfde test voldeed gemiddeld aan 69,9% van de verborgen acceptatiecriteria voor elke taak. De meeste taken waren grotendeels afgerond, maar nog niet helemaal af.

De Co-design Bench paper (arXiv, 26 oktober 2026; projectwebsite op codesignbench.github.ioHet programma bouwt 273 taken op uit 37.463 gededupliceerde query's, verdeeld over 26.314 echte codeersessies. Agenten moeten een werkende webapplicatie ontwikkelen op basis van een vast gebruikersverzoek, soms met bijlagen zoals afbeeldingen, audio, video of documenten. Experts hebben 2.331 verborgen acceptatiecriteria opgesteld. Een primaire AI-beoordelaar beoordeelt de voltooide applicatie op basis van de broncode en browsergegevens; een tweede controleur betwist elk 'Geslaagd' of 'Gedeeltelijk' oordeel en zoekt naar stubs, hardgecodeerde code en onbereikbare functionaliteiten.

Wat de belangrijkste cijfers betekenen

OpenAI's GPT-6 Astra leidde tien model-endpoints onder een gedeelde Claude Code-harness. Over alle 273 taken behaalde het een gemiddelde strikte voltooiingsscore van 0,699 — ongeveer zeven van de tien criteria werden per taak gehaald — en een volledig slagingspercentage van 26,4%. Dit betekent dat in 73,6% van de taken minstens één criterium nog steeds niet werd gehaald. Gemiddelde dekking van de vereisten is niet hetzelfde als het implementeren van een complete wijziging.

Het verschil is per type bewerking nog groter. Bij 100 multimodale bewerkingstaken slaagde Astra voor 41,0% en behaalde een gemiddelde van 0,754 strikte voltooiing. Bij 173 repository-bewerkingstaken – gecoördineerde wijzigingen in componenten, routes, status en dataflow – slaagde het voor 17,9% met een strikte voltooiing van 0,667. Repository-bewerkingen die drie of vier wijzigingstypen omvatten, scoorden lager voor elk eindpunt dan bewerkingen met één of twee typen. De gecombineerde strikte voltooiing daalde van 0,654 bij smallere bewerkingen naar 0,591 bij bredere bewerkingen.

Dat patroon komt overeen met hoe mensen daadwerkelijk instructies geven aan codeertools. Een verzoek dat slechts één CSS-eigenschap aanpast, is niet hetzelfde als een verzoek dat in één keer de navigatie, de status en een afhankelijke samenvatting herstructureert. De repository-track van de benchmark is zo opgebouwd dat dergelijke samengestelde verzoeken veel voorkomen: 166 van de 173 repository-taken vereisen meerdere bewerkingstypen.

Waarom oudere toetsen te makkelijk lijken

De auteurs hebben deze set ontwikkeld omdat oudere benchmarks voor bewerkingstaken hun grenzen bereiken zodra modellen hun eigen code kunnen herhalen, uitvoeren en corrigeren. Bij 150 WebCompass-bewerkingstaken, waarbij de beoordelingscriteria en de jury ongewijzigd bleven, steeg Qwen3.7-Plus van een gemiddelde van 73,6% beoordeelde feature-completion in één keer naar 95,1% met agentische uitvoering; Claude Opus 4.8 bereikte 99,4% agentische uitvoering bij dezelfde splitsing. Zulke hoge scores maken het onderscheid tussen producten overbodig.

Co-Design Bench gaf de voorkeur aan sessieverzoeken die al wrijving vertoonden — herformuleringen, vervolgacties of terugdraaien — en beoordeelt alleen functies die werken in de draaiende app. Multimodale taken kunnen een agent vragen om een waarde uit een bon of een videoclip te halen en alle afhankelijke totalen en weergaven consistent te houden. Repositorytaken kunnen limieten voor het aantal clips, de nauwkeurigheid van de tijdlijn en het herstel na een splitsing koppelen. Een plausibele lokale patch kan er nog steeds voor zorgen dat een gekoppelde weergave onjuist blijft.

Wil je dat AI je wekelijks uren bespaart? Ons gratis stappenplan laat je zien hoe.Download de gratis gids →

Wie gaf leiding en wie niet?

Achter Astra volgden Anthropic's Claude Opus 5 en Alibaba's Qwen3.8-Max met een gecombineerd slagingspercentage van respectievelijk 18,3% en 16,5%. Grok 4.6 van xAI eindigde als laatste met 6,6% geslaagde tests. De ranglijsten verschoven tussen de verschillende onderdelen: Qwen3.8-27B steeg naar de tweede plaats bij repository-bewerkingen, terwijl het lager scoorde bij multimodale bewerkingen. Het artikel beschouwt dit niet als een algemeen modelvoordeel, maar slechts als bewijs dat een enkel gecombineerd testbord specifieke sterke punten van een bepaalde setting kan maskeren.

Het verbranden van meer tokens loste het patroon niet op. Bij multimodale taken behaalde Astra een strikte voltooiingsscore van 0,754 met een mediaan van 32 beurten, terwijl GLM-5.2 69 beurten en een veelvoud aan tokenverkeer gebruikte voor een lagere score. Extra rekenkracht zorgde ervoor dat sommige runs langer doorliepen zonder dat de onvoltooide criteria werden afgesloten die een volledige doorloop blokkeerden.

Het harnas beweegt het scorebord.

Toen het team twee solvers vasthield en de agent-harness verwisselde — Codex, OpenCode of Qwen Code — veranderden de scores met maximaal 16,2 procentpunten bij repository-bewerkingen. Welk van de twee modellen de beste resultaten behaalde, hing ook af van de harness. Bij multimodale bewerkingen keerde de volgorde van de harnesses zelfs om tussen de solvers. De praktische conclusie van het artikel is duidelijk: rapporteer zowel het model als de harness samen. Een leaderboard dat alleen het model noemt, vertelt slechts een deel van het verhaal.

Voor een bedrijf dat een codeeragent kiest, betekent dit dat het duo dat daadwerkelijk gebruikt zal worden – model plus tools – getest moet worden op wijzigingen die overeenkomen met de achterstand in de code, in plaats van te vertrouwen op een grafiek die alleen het model weergeeft.

Wat de test niet beweert

De beperkingen worden in het artikel beschreven. Elke taak is een vast verzoek; de agent kan geen vervolgvragen stellen of tussentijdse correcties ontvangen. AI-beoordelaars kunnen nog steeds fouten maken, hoewel twee frontend-experts de rubricscores hebben gecontroleerd op 200 outputs van taakmodellen. Het resultaat meet autonome voltooiing volgens een strikte rubric, niet interactief werk met een persoon erbij. Het is ook geen meting van hoe vaak mensen alledaagse code opruimen. De eerlijke interpretatie is beperkter: bij grondige revisies in een echte sessie liet zelfs het beste eindresultaat meestal iets onafgemaakt.

Die kanttekening sluit aan bij een thema dat DailyAI elders al heeft aangekaart. METR heeft aangevoerd dat gepubliceerde snelheidsclaims de bewijzen die mensen kunnen controleren, kunnen overtreffen., en de eigen beveiligingsagenten van OpenAI recentelijk Uit een betaald onderzoek zijn 948 kwetsbaarheden in Linux-systemen voor privilege-escalatie gebleken. — een herinnering dat de beoordelingen van agenten en de daadwerkelijke levering verschillende meetmethoden zijn.

Waarom het belangrijk is

Leveranciers verkopen nog steeds codeerprogramma's met bijna perfecte scores op oudere tests. In deze dataset met echte sessies liet het beste programma bij ongeveer drie van de vier taken iets onafgemaakt. Iedereen die een codeerprogramma koopt of implementeert, moet vragen naar het slagingspercentage voor realistische bewerkingen, en naar de testomgeving waar die cijfers vandaan komen, en niet alleen naar de gemiddelde dekkingsgraad van de criteria.