Der beste Coding-Agent löst nur 26,4 % der realen Aufgaben vollständig.

26,4 %. So hoch ist der Anteil der Aufgaben zur Bearbeitung von Apps durch echte Nutzer, die der leistungsstärkste Programmieragent auf Alibabas neuer Co-Design Bench vollständig bewältigt hat, wie eine Studie von Alibaba Token Hub und Universitätsmitarbeitern zeigt. Im Durchschnitt erfüllte derselbe Durchlauf 69,9 % der versteckten Akzeptanzkriterien jeder Aufgabe. Die meisten Aufgaben waren größtenteils erledigt, aber noch nicht abgeschlossen.

Die Co-Design Bench Papier (arXiv, 26. Oktober 2026; Projektseite unter) codesignbench.github.ioDas System erstellt 273 Aufgaben aus 37.463 deduplizierten Anfragen in 26.314 realen Programmiersitzungen. Die Agenten müssen eine lauffähige Webanwendung anhand einer vorgegebenen Benutzeranfrage überarbeiten, teilweise mit Bild-, Audio-, Video- oder Dokumentanhängen. Experten haben 2.331 versteckte Akzeptanzkriterien formuliert. Ein primärer KI-Bewerter bewertet die fertige Anwendung anhand des Quellcodes und der Browserdaten; ein zweiter Prüfer hinterfragt jedes positive oder negative Ergebnis und sucht nach Platzhaltern, fest codierten und nicht erreichbaren Funktionen.

Was die Zahlen in der Überschrift bedeuten

OpenAIs GPT-6 Astra führte zehn Modellendpunkte unter einem gemeinsamen Claude-Code-Framework an. Über alle 273 Aufgaben hinweg erreichte es eine mittlere strikte Erfüllungsquote von 0,699 – das entspricht etwa sieben von zehn erfüllten Kriterien pro Aufgabe – und eine vollständige Erfolgsquote von 26,4 %. Zusammengenommen bedeutet dies: Bei 73,6 % der Aufgaben wurde mindestens ein Kriterium nicht erfüllt. Die durchschnittliche Anforderungsabdeckung ist nicht gleichbedeutend mit der Auslieferung einer vollständigen Änderung.

Die Unterschiede sind je nach Track deutlicher. Bei 100 Aufgaben zur multimodalen Bearbeitung erreichte Astra eine vollständige Erfolgsquote von 41,0 % und einen durchschnittlichen Wert von 0,754 für strikte Vollständigkeit. Bei 173 Aufgaben zur Repository-Bearbeitung – koordinierten Änderungen an Komponenten, Routen, Zustand und Datenfluss – erreichte Astra eine vollständige Erfolgsquote von 17,9 % und einen Wert von 0,667 für strikte Vollständigkeit. Repository-Bearbeitungen, die drei oder vier Änderungstypen umfassten, schnitten für jeden Endpunkt schlechter ab als solche mit nur einem oder zwei Typen. Die gepoolte strikte Vollständigkeit sank von 0,654 bei enger gefassten Bearbeitungen auf 0,591 bei umfassenderen.

Dieses Muster entspricht der tatsächlichen Vorgehensweise bei der Anforderung von Programmierwerkzeugen. Eine Anfrage, die lediglich eine CSS-Eigenschaft anpasst, ist nicht mit einer Aufgabe vergleichbar, die Navigation, Zustand und eine abhängige Zusammenfassung in einem Durchgang neu konfiguriert. Der Repository-Track des Benchmarks ist so konzipiert, dass solche komplexen Anfragen häufig vorkommen: 166 von 173 Repository-Aufgaben erfordern mehrere Bearbeitungstypen.

Warum ältere Tests zu einfach aussehen

Die Autoren erstellten dieses Set, da ältere Benchmarks für die Bearbeitung von Funktionen an ihre Grenzen stoßen, sobald Modelle ihren Code in Schleifen ausführen und selbstständig korrigieren können. Bei 150 WebCompass-Bearbeitungsaufgaben, bei gleichbleibender Bewertungsmatrix und Bewertungskriterien, steigerte Qwen 3.7-Plus die durchschnittliche Bewertung der Feature-Vervollständigung von 73,6 % im Einzeldurchlauf auf 95,1 % mit agentengesteuerter Ausführung; Claude Opus 4.8 erreichte im selben Test 99,4 %. Derart hohe Werte führen dazu, dass sich Produkte nicht mehr voneinander unterscheiden.

Co-Design Bench bevorzugte stattdessen Sitzungsanfragen, die bereits Reibungsverluste aufwiesen – etwa Umformulierungen, Nachfragen oder Rollbacks – und bewertet nur Funktionen, die in der laufenden Anwendung funktionieren. Multimodale Aufgaben können einen Agenten anweisen, einen Wert aus einem Beleg oder einem Videoclip abzurufen und dabei alle abhängigen Summen und Ansichten konsistent zu halten. Repository-Aufgaben können Clip-Zählerbegrenzungen, Zeitleistengenauigkeit und die Wiederherstellung nach einer Aufteilung miteinander verknüpfen. Ein plausibler lokaler Patch kann dennoch dazu führen, dass eine verknüpfte Ansicht fehlerhaft ist.

Wollen Sie, dass KI Ihnen wöchentlich Stunden spart? Unser kostenloses Handbuch zeigt Ihnen, wie.Holen Sie sich den kostenlosen Leitfaden →

Wer führte, und wer nicht?

Hinter Astra folgten Anthropics Claude Opus 5 und Alibabas Qwen3.8-Max mit einer kombinierten Erfolgsquote von 18,3 % bzw. 16,5 %. xAIs Grok 4.6 landete mit 6,6 % auf dem letzten Platz. Die Rangliste variierte je nach Kategorie: Qwen3.8-27B stieg bei Repository-Bearbeitungen auf den zweiten Platz, obwohl es bei multimodalen Bearbeitungen schlechter abschnitt. Die Studie interpretiert dies nicht als allgemeinen Modellvorteil, sondern lediglich als Beleg dafür, dass ein einzelnes kombiniertes Board umgebungsspezifische Stärken verschleiern kann.

Das Verbrennen weiterer Token änderte nichts an dem Problem. Bei multimodalen Aufgaben erreichte Astra mit durchschnittlich 32 Zügen eine strikte Fertigstellung von 0,754, während GLM-5.2 für ein niedrigeres Ergebnis 69 Züge und ein Vielfaches des Token-Verkehrs benötigte. Zusätzliche Rechenleistung ermöglichte es einigen Läufen, länger zu arbeiten, ohne die unvollständigen Kriterien zu schließen, die einen vollständigen Durchlauf verhindern.

Das Geschirr bewegt die Anzeigetafel

Als das Team zwei Solver beibehielt und das Agenten-Harness – Codex, OpenCode oder Qwen Code – austauschte, veränderten sich die Ergebnisse bei Repository-Änderungen um bis zu 16,2 Prozentpunkte. Welches der beiden Modelle die Nase vorn hatte, hing ebenfalls vom Harness ab. Bei multimodalen Änderungen kehrte sich die Reihenfolge der Harnesses zwischen den Solvern sogar um. Die praktische Schlussfolgerung der Studie ist eindeutig: Modell und Harness sollten gemeinsam berichtet werden. Eine Rangliste, die nur das Modell nennt, liefert nur einen Teil der Information.

Für ein Unternehmen, das sich für einen Codierungsagenten entscheidet, bedeutet das, das Paar, das man tatsächlich einsetzen wird – Modell plus Tools –, anhand von Änderungen zu testen, die dem Backlog ähneln, und sich nicht auf eine Tabelle zu verlassen, die nur das Modell auflistet.

Was der Test nicht behauptet

Die Grenzen sind in der Veröffentlichung dargelegt. Jede Aufgabe stellt eine feste Anforderung dar; der Agent kann keine Nachfragen stellen oder Korrekturen während der Bearbeitung anfordern. KI-Bewertungen können weiterhin Fehler machen, obwohl zwei Frontend-Experten die Bewertungskriterien anhand von 200 Aufgabenmodell-Ausgaben überprüft haben. Das Ergebnis misst die autonome Bearbeitung nach strengen Kriterien, nicht die interaktive Arbeit mit einem Menschen. Es gibt auch nicht an, wie oft Menschen im alltäglichen Programmieralltag Korrekturen vornehmen. Die ehrliche Interpretation ist differenzierter: Bei anspruchsvollen Überarbeitungen in realen Sitzungen blieb selbst das beste Ergebnis meist unvollständig.

Diese Einschränkung passt zu einem Thema, das DailyAI auch an anderer Stelle beobachtet hat. METR argumentiert, dass die veröffentlichten Geschwindigkeitsangaben die Beweise, die die Öffentlichkeit überprüfen kann, übertreffen können., und die eigenen Sicherheitsagenten von OpenAI kürzlich Bei einer bezahlten Forschungsarbeit wurden 948 Linux-Sicherheitslücken zur Rechteausweitung gefunden. — Zur Erinnerung: Agentenbewertungen und tatsächliche Leistungserbringung sind unterschiedliche Messgrößen.

Warum es wichtig ist

Anbieter verkaufen immer noch Codierungsagenten mit nahezu perfekten Testergebnissen in älteren Tests. In diesem realen Testdatensatz ließ der beste Endpunkt bei etwa drei von vier Aufgaben etwas unfertig. Jeder, der einen Agenten kauft oder einsetzt, sollte nach den Erfolgsquoten bei realistischen Bearbeitungen und dem Testsystem fragen, aus dem diese Zahlen stammen, und sich nicht nur auf die durchschnittliche Kriterienabdeckung beschränken.