Il miglior agente di codifica completa solo il 26,4% delle attività reali

Il 26,4%. Questa è la percentuale di attività di modifica di app reali per utenti che l'agente di programmazione più potente ha completato interamente sulla nuova piattaforma Co-Design Bench di Alibaba, secondo un documento di Alibaba Token Hub e di coautori universitari. La stessa esecuzione ha soddisfatto in media il 69,9% dei criteri di accettazione nascosti per ciascuna attività. La maggior parte dei lavori era quasi completata e ancora incompiuta.

Il Documento relativo al Co-Design Bench (arXiv, 26 ottobre 2026; sito del progetto a codesignbench.github.ioIl test prevede la creazione di 273 attività a partire da 37.463 query deduplicate, distribuite su 26.314 sessioni di programmazione reali. Gli agenti devono rivedere un'applicazione web funzionante a partire da una richiesta utente predefinita, a volte con allegati di immagini, audio, video o documenti. Gli esperti hanno definito 2.331 criteri di accettazione impliciti. Un giudice AI primario valuta l'applicazione finale in base al codice sorgente e alle prove di funzionamento nel browser; un secondo verificatore contesta ogni verdetto di "Superato" o "Parziale" e cerca stub, hardcoding e funzionalità irraggiungibili.

Cosa significano i numeri principali

Il modello Astra di OpenAI, basato su GPT-6, ha superato dieci endpoint utilizzando un framework condiviso di Claude Code. Su tutti i 273 task, ha ottenuto un punteggio medio di completamento rigoroso di 0,699 (circa sette criteri su dieci superati per task) e un tasso di superamento completo del 26,4%. Considerando questi dati nel loro insieme, nel 73,6% dei task almeno un criterio non è stato soddisfatto. La copertura media dei requisiti non equivale al rilascio di una modifica completa.

Il divario è più marcato se si considera il percorso specifico. Su 100 attività di modifica multimodale, Astra ha superato completamente il 41,0% dei test con una media di 0,754 di completamento rigoroso. Su 173 attività di modifica del repository (modifiche coordinate tra componenti, percorsi, stato e flusso di dati) ha superato completamente il 17,9% dei test con una media di 0,667 di completamento rigoroso. Le modifiche al repository che interessavano tre o quattro tipi di modifica hanno ottenuto punteggi inferiori per ogni endpoint rispetto a quelle con uno o due tipi. Il completamento rigoroso aggregato è sceso da 0,654 per le modifiche più specifiche a 0,591 per quelle più ampie.

Questo schema corrisponde al modo in cui le persone effettivamente forniscono istruzioni agli strumenti di programmazione. Una richiesta che modifica solo una proprietà CSS non è la stessa cosa di una che riorganizza la navigazione, lo stato e un riepilogo dipendente in un'unica operazione. Il percorso del repository del benchmark è strutturato in modo che queste richieste complesse siano comuni: 166 delle 173 attività del repository richiedono più tipi di modifica.

Perché i test più vecchi sembrano troppo facili

Gli autori hanno creato il set di dati perché i benchmark di editing più datati si stanno saturando una volta che i modelli sono in grado di eseguire cicli, attività e correzioni del proprio codice. Su 150 attività di editing con WebCompass, mantenendo fissi i criteri di valutazione e il giudice, Qwen3.7-Plus è passato da una media del 73,6% di completamento delle funzionalità valutate in un singolo tentativo al 95,1% con esecuzione agentiva; Claude Opus 4.8 ha raggiunto il 99,4% agentiva sulla stessa suddivisione. Punteggi così elevati smettono di distinguere i prodotti.

Co-Design Bench ha invece privilegiato le richieste di sessione che mostravano già delle criticità, come riformulazioni, follow-up o rollback, e valuta solo le funzionalità che funzionano nell'app in esecuzione. Le attività multimodali possono richiedere a un agente di estrarre un valore da una ricevuta o da un videoclip, mantenendo coerenti tutti i totali e le visualizzazioni dipendenti. Le attività del repository possono combinare limiti al numero di clip, accuratezza della timeline e ripristino dopo una divisione. Una patch locale plausibile può comunque lasciare errata una visualizzazione collegata.

Vuoi che l'intelligenza artificiale ti faccia risparmiare ore a settimana? La nostra guida gratuita ti mostra come fare.Scarica la guida gratuita →

Chi ha guidato e chi no

Dietro ad Astra, Claude Opus 5 di Anthropic e Qwen3.8-Max di Alibaba si sono piazzati rispettivamente al secondo e terzo posto con un tasso di successo combinato del 18,3% e del 16,5%. Grok 4.6 di xAI ha chiuso all'ultimo posto con il 6,6% di successi. Le classifiche sono variate a seconda della traccia: Qwen3.8-27B è salito al secondo posto nelle modifiche ai repository, pur classificandosi più in basso in quelle multimodali. L'articolo non interpreta questo dato come un vantaggio generale del modello, ma solo come la prova che una singola scheda combinata può nascondere punti di forza specifici di un determinato contesto.

Bruciare più token non ha risolto il problema. Nel lavoro multimodale, Astra ha raggiunto un completamento rigoroso di 0,754 con 32 turni mediani, mentre GLM-5.2 ha utilizzato 69 turni e un traffico di token diverse volte superiore per un punteggio inferiore. La maggiore potenza di calcolo ha permesso ad alcune esecuzioni di durare più a lungo senza chiudere i criteri incompleti che bloccano un passaggio completo.

L'imbracatura muove il tabellone segnapunti

Quando il team ha mantenuto fissi due risolutori e ha scambiato l'ambiente di lavoro dell'agente (Codex, OpenCode o Qwen Code), i punteggi sono variati fino a 16,2 punti percentuali nelle modifiche al repository. Anche la superiorità dei due modelli dipendeva dall'ambiente di lavoro. Nelle modifiche multimodali, l'ordine di importanza degli ambienti di lavoro si è addirittura invertito tra i due risolutori. La linea guida pratica dell'articolo è chiara: riportare sia il modello che l'ambiente di lavoro insieme. Una classifica che indica solo il modello racconta solo una parte della storia.

Per un'azienda che sceglie un agente di codifica, ciò significa testare la combinazione che verrà effettivamente eseguita (modello più strumenti) su modifiche simili al backlog, anziché affidarsi a un grafico che elenca solo il modello.

Ciò che il test non afferma

I limiti sono specificati nel documento. Ogni compito è una richiesta fissa; l'agente non può porre domande di approfondimento o ricevere correzioni a metà dell'attività. I giudici IA possono comunque commettere errori, sebbene due esperti di frontend abbiano verificato i punteggi della rubrica su 200 output del modello di attività. Il risultato misura il completamento autonomo secondo una rubrica rigorosa, non il lavoro interattivo con una persona presente. Non rappresenta nemmeno una misura della frequenza con cui gli esseri umani ripuliscono il codice quotidianamente. Un'interpretazione onesta è più restrittiva: nelle revisioni approfondite, effettuate in sessioni reali, anche il miglior risultato finale ha lasciato qualcosa di incompiuto nella maggior parte dei casi.

Tale precisazione coincide con un tema che DailyAI ha già evidenziato in altre occasioni. METR ha sostenuto che le affermazioni sulla velocità pubblicate possono superare le prove che le persone possono verificare, e gli agenti di sicurezza di OpenAI di recente Abbiamo trovato 948 vulnerabilità di escalation dei privilegi in Linux durante una sessione di ricerca a pagamento. — un promemoria che i punteggi degli agenti e i risultati effettivi sono due cose diverse.

Perché è importante

I fornitori continuano a vendere agenti di codifica con punteggi quasi perfetti su vecchi test. In questo set di sessioni reali, l'endpoint migliore ha lasciato qualcosa di incompiuto in circa tre attività su quattro. Chiunque acquisti o implementi un agente dovrebbe richiedere i tassi di superamento completo su modifiche realistiche e il framework da cui provengono tali numeri, non solo la copertura media dei criteri.