Google Cloud, insieme a ricercatori della Washington University in St. Louis e della University of North Carolina at Chapel Hill, ha sviluppato EnvHarness, un livello programmabile progettato per trasformare gli ambienti statici utilizzati nella valutazione degli agenti di intelligenza artificiale in sistemi adattivi capaci di modificarsi in funzione delle prestazioni del modello. L’obiettivo è superare uno dei principali limiti dei benchmark tradizionali: gli ambienti di prova vengono normalmente costruiti manualmente e rimangono invariati anche quando le capacità dell’agente migliorano, rendendo difficile individuare con precisione i suoi punti deboli e utilizzare il benchmark come strumento di apprendimento. In un ambiente completamente fisso, inoltre, un agente può finire per specializzarsi eccessivamente sulle stesse configurazioni e sugli stessi schemi di risposta, producendo una forma di overfitting rispetto alle prove utilizzate durante l’addestramento.
EnvHarness interviene senza richiedere modifiche al simulatore che costituisce il backend del benchmark né agli strumenti di verifica sviluppati per stabilire se un’attività sia stata completata correttamente. Il sistema utilizza invece un approccio basato su wrapper, inserendo un livello programmabile intorno agli ambienti esistenti attraverso interfacce standard come reset, step e observe. In questo modo è possibile cambiare condizioni iniziali, vincoli e sequenze operative mantenendo invariati sia il simulatore originale sia gli algoritmi già utilizzati per verificare i risultati. L’architettura è organizzata attorno a tre componenti plug-in. Stage esegue azioni predefinite dopo l’inizializzazione di un episodio e permette quindi di modificare il punto di partenza della prova; Contract introduce regole che possono impedire determinate azioni dell’agente oppure alterare le osservazioni che riceve; Chain collega più ambienti all’interno dello stesso episodio, obbligando l’agente a completare una sequenza di attività concatenate.
A questi componenti si aggiunge EnvRigger, uno strumento di progettazione automatica basato su LLM. EnvRigger analizza le tracce di esecuzione prodotte dall’agente, individua i problemi emersi durante il tentativo di completare un’attività e genera direttamente codice wrapper in Python adattato a quelle difficoltà. Il codice viene inoltre verificato prima dell’utilizzo. La difficoltà e le condizioni dell’ambiente possono così essere regolate dinamicamente senza intervenire sull’infrastruttura del benchmark. Questo approccio riduce il lavoro necessario per costruire nuovi ambienti di prova o riscrivere complessi sistemi di validazione, permettendo di conservare integralmente backend e procedure di verifica già collaudati e di modificare soltanto le condizioni nelle quali l’agente deve operare.
Il principio è particolarmente rilevante perché molti benchmark non vengono più utilizzati esclusivamente per misurare le prestazioni finali dei modelli, ma entrano direttamente nei processi di addestramento degli agenti. Una serie invariabile di problemi può però portare il sistema a riconoscere configurazioni ricorrenti e schemi di soluzione senza migliorare in misura equivalente la capacità di affrontare situazioni nuove. EnvHarness permette invece di identificare le sezioni nelle quali un agente fallisce con maggiore frequenza e di generare varianti specificamente concentrate su quelle debolezze, sottoponendo il modello a nuove prove costruite attorno agli errori precedenti. I ricercatori hanno verificato che questa modifica dell’ambiente può aumentare le capacità operative dell’agente senza intervenire sull’algoritmo interno del modello.
Il sistema è stato sperimentato con agenti basati su GPT-4o su cinque benchmark: ALFWorld, dedicato ad attività interattive in ambienti simulati; WebArena, utilizzato per valutare agenti che operano sul web; SWE-bench Verified, focalizzato sulla risoluzione di problemi reali di ingegneria del software; OfficeQA e SpreadsheetBench, dedicato alle attività sui fogli di calcolo. I test hanno mostrato miglioramenti sia nelle prestazioni sia nell’efficienza. In ALFWorld, il punteggio nelle valutazioni out-of-distribution, OOD, cioè su condizioni differenti rispetto a quelle incontrate durante l’addestramento, è aumentato di 9,0 punti. Una tecnica di estrazione delle skill che nell’ambiente originale aveva prodotto effetti negativi ha invece determinato un aumento delle prestazioni quando utilizzata insieme a EnvHarness.
Nel caso di SWE-bench Verified, la percentuale di attività risolte è passata dal 49,88% al 52,58%. Contemporaneamente il numero medio di step necessari per eseguire le attività è diminuito da 55,01 a 49,61, corrispondente a un miglioramento dell’efficienza del 9,8%. Il dato evidenzia che la modifica programmabile dell’ambiente non ha prodotto soltanto un incremento del numero di problemi completati, ma ha consentito agli agenti di raggiungere il risultato utilizzando mediamente meno passaggi operativi. Il modello sottostante rimane invariato: a cambiare è il modo in cui vengono costruite e presentate le esperienze utilizzate durante valutazione e apprendimento.
L’applicazione del sistema al benchmark anziché al singolo modello rende inoltre EnvHarness indipendente dall’architettura dell’agente. Lo stesso livello può essere utilizzato con GPT-4o, Claude, modelli open source o altri sistemi compatibili con le interfacce previste, consentendo di applicare procedure analoghe di individuazione delle debolezze e generazione di esercizi adattivi senza realizzare un’infrastruttura separata per ciascun modello. Una caratteristica particolarmente utile nei contesti nei quali gli agenti devono eseguire lunghe sequenze di operazioni, come sviluppo software, navigazione web e analisi dei dati, perché diventa possibile isolare i segmenti della procedura nei quali si verificano ripetutamente gli errori e concentrare l’addestramento proprio su quelle fasi.
L’architettura apre anche alla possibilità di realizzare un processo di co-evolution, nel quale agente e ambiente evolvono progressivamente in risposta alle rispettive prestazioni: l’agente migliora sulle difficoltà incontrate mentre l’ambiente viene continuamente riconfigurato per esporre nuovi limiti. La capacità di modificare in maniera controllata il tasso di successo dei test e di generare nuovi scenari senza ricostruire il simulatore rende EnvHarness utilizzabile anche come livello di controllo all’interno di pipeline di reinforcement learning e nei processi di verifica della sicurezza di nuovi agenti. Il codice sorgente di EnvHarness è stato pubblicato come open source con licenza Apache 2.0 ed è progettato per essere integrato nei loop di valutazione degli agenti già esistenti.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)