Un gruppo di ricercatori della Shandong University e dell’Università della California a Berkeley ha condotto uno studio sull’influenza delle infrastrutture software di orchestrazione, comunemente denominate agent harness, sulle prestazioni e sui costi degli agenti AI dedicati alla programmazione. L’indagine ha confrontato Claude Code, OpenCode e mini-SWE-agent, tre ambienti caratterizzati da livelli differenti di complessità e disponibilità di strumenti. Un agent harness comprende le istruzioni operative, le interfacce per l’utilizzo degli strumenti, i meccanismi di esecuzione e le procedure attraverso le quali un modello linguistico può esaminare un progetto, modificare file ed eseguire verifiche. La ricerca ha evidenziato che la presenza di un’infrastruttura più articolata non produce necessariamente un miglioramento statisticamente significativo nella capacità di risolvere problemi di sviluppo software, mentre può aumentare il consumo di token e i costi di inferenza fino a circa tre volte rispetto ad ambienti più essenziali.
Gli esperimenti hanno coinvolto cinque modelli di intelligenza artificiale, comprendenti due modelli a pesi aperti, Qwen3.6-35B-A3B e Qwen3.8-27B, e tre sistemi accessibili tramite API, DeepSeek-V4-Flash, GLM-5.3-Flash e HY4-Preview. È stato inoltre utilizzato Claude Opus 5 in Claude Code come riferimento di prestazioni elevate. La valutazione ha impiegato 492 attività offline del benchmark SWE-bench Verified, suddivise in 45 problemi particolarmente impegnativi, che richiederebbero agli sviluppatori umani da una a quattro ore o più, e 447 attività di difficoltà inferiore. La separazione dei gruppi ha permesso ai ricercatori di esaminare non soltanto la percentuale complessiva di problemi risolti, ma anche la sensibilità delle configurazioni alle variazioni di complessità delle attività.
I risultati non hanno mostrato un vantaggio uniforme degli ambienti più ricchi di istruzioni e strumenti rispetto a quelli minimali. Nel gruppo dei problemi difficili, il cambiamento dell’harness ha determinato differenze nell’esito di circa il 13% delle attività, che passavano da risolte a non risolte o viceversa. Tuttavia, variazioni di entità simile sono state osservate anche ripetendo l’esperimento con lo stesso ambiente, indicando che una parte consistente delle differenze dipende dalla variabilità probabilistica delle generazioni. Anche l’utilizzo dell’harness ufficiale sviluppato dal produttore di un modello non ha garantito risultati sistematicamente superiori. Nel caso dell’ambiente ufficiale DeepSeek, il tasso di successo è rimasto compreso nell’intervallo osservato per le alternative, mentre il costo per attività è risultato il più elevato tra quelli confrontati.
Lo studio ha inoltre individuato casi nei quali le differenze di prestazione erano riconducibili a specifici comportamenti del software di orchestrazione. OpenCode, per esempio, ha registrato nei problemi di maggiore dimensione punteggi fino a nove punti percentuali inferiori rispetto ad altri ambienti. Circa metà della differenza è stata attribuita all’interruzione delle esecuzioni al raggiungimento di un limite di 32.000 token di output, talvolta prima che l’agente riuscisse a produrre la modifica richiesta. Claude Code disponeva invece di una procedura di recupero che permetteva di richiedere al modello la continuazione dell’output dopo il raggiungimento del limite. Le conclusioni dello studio distinguono quindi la complessità generale dell’harness dalle singole funzioni operative realmente utili: aumentare istruzioni, strumenti e passaggi intermedi può incrementare i consumi senza migliorare il risultato, mentre specifici meccanismi di gestione degli errori e recupero delle esecuzioni possono incidere concretamente sull’affidabilità.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).