Cognition, l’azienda che sviluppa l’agente di programmazione Devin, ha presentato FrontierCode 2.0, un benchmark progettato per misurare la capacità degli assistenti AI di completare attività di sviluppo software rispettando le condizioni richieste dai progetti esistenti. La valutazione non si limita a verificare che una modifica produca il risultato funzionale previsto, ma considera anche la qualità complessiva dell’intervento, la compatibilità con il codice già presente e la possibilità di integrare il risultato senza ulteriori correzioni sostanziali da parte di uno sviluppatore. Il benchmark comprende 132 attività ricavate da progetti open source reali e include operazioni complesse quali la correzione di vulnerabilità di sicurezza e l’ottimizzazione delle prestazioni. Rispetto alle versioni precedenti sono aumentati sia la dimensione dei progetti esaminati sia il numero di componenti che possono essere coinvolti nelle modifiche. I criteri prevedono inoltre che il mancato rispetto di un requisito considerato essenziale determini l’insuccesso dell’intera attività, anche quando una parte del codice prodotto funziona correttamente.
Nei risultati pubblicati, Claude Opus 5.5 ha raggiunto il 45,5% di successo, seguito da GPT-6 Astra con il 42,8%, Claude Sonnet 5.5 con il 41%, Gemini 4 Carbon con il 40% e GPT-6.1 Sol con il 39%. Le percentuali risultano inferiori rispetto a quelle osservate su FrontierCode 1.1, dove Opus 5.5 aveva ottenuto il 54,6% e GPT-6 Astra il 53,3%. La differenza dipende principalmente dal cambiamento delle attività e dal maggiore rigore dei criteri, non costituisce quindi una dimostrazione di peggioramento dei modelli. La criticità più significativa riguarda la completezza dell’intervento, definita Thoroughness, ossia la capacità di identificare e rispettare anche i requisiti che non sono indicati esplicitamente nella richiesta iniziale ma derivano dalla struttura e dal comportamento del software. Nell’analisi dei quattro principali modelli, il tasso di fallimento dei requisiti essenziali relativi alla completezza ha raggiunto il 19,2%, superiore al 14,9% registrato per l’implementazione delle funzionalità principali. Anche utilizzando il livello massimo di ragionamento, gli errori di completezza sono rimasti al 15,3%.
Un esempio riguarda la correzione di un problema nella libreria JavaScript Mock Service Worker. Claude Opus 5.5 è riuscito a correggere un errore relativo all’inizializzazione di una funzionalità, ma ha omesso la gestione della chiusura corretta delle operazioni già esistenti. Questa omissione poteva lasciare risorse inutilmente occupate e introdurre condizioni di instabilità nel programma. L’agente aveva quindi soddisfatto il requisito esplicito della richiesta senza affrontare un effetto collaterale che uno sviluppatore avrebbe dovuto considerare durante l’integrazione. Il modello è stato sottoposto a cinque differenti configurazioni di ragionamento, con cinque tentativi per ciascuna, ma nessuna delle 25 esecuzioni ha soddisfatto tutti i criteri. L’esperimento mette in evidenza una debolezza nella ricostruzione del contesto complessivo del progetto, distinta dalla semplice capacità di scrivere codice corretto.
Cognition ha inoltre osservato che aumentare il tempo e le risorse dedicate al ragionamento non garantisce automaticamente una maggiore qualità. In alcuni casi, i modelli hanno modificato un numero eccessivo di file oppure alterato componenti dell’architettura che avrebbero dovuto rimanere invariati. In una prova effettuata sul software di analisi PostHog, GPT-6 Astra doveva correggere un problema relativo all’ordine di trasmissione dei dati. Con il livello minimo di ragionamento il modello ha completato correttamente tutti e cinque i tentativi, mentre con il livello massimo ne ha superato soltanto uno. Durante le elaborazioni più complesse aveva infatti eliminato interfacce pubbliche precedentemente disponibili, compromettendo la compatibilità con altri componenti. FrontierCode 2.0 evidenzia pertanto una distinzione tra risoluzione locale di un problema e realizzazione di una modifica software pronta per l’integrazione: gli agenti devono riconoscere i vincoli impliciti, limitare le modifiche a quelle necessarie e preservare le caratteristiche del progetto non direttamente menzionate nella richiesta.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)