Meta e i ricercatori dell’Università dell’Illinois Urbana-Champaign hanno presentato EvoHarness-RL, un metodo progettato per insegnare agli agenti di intelligenza artificiale a gestire autonomamente l’ambiente esterno utilizzato durante l’esecuzione di attività lunghe e complesse. Il sistema interviene sul cosiddetto harness, cioè il livello operativo che comprende non soltanto prompt e strumenti, ma anche memoria, tracciamento dello stato, verificatori, feedback di esecuzione e flussi di controllo. L’obiettivo è evitare che l’utilizzo di questi componenti venga definito interamente attraverso regole scritte a mano dagli sviluppatori, trasformando invece la gestione dell’harness in una vera capacità appresa dal modello.
Nei sistemi agentici tradizionali, soprattutto quando l’attività si prolunga per molte ore, mantenere tutte le informazioni all’interno di una singola finestra di contesto diventa poco pratico. Un agente incaricato, per esempio, di trasferire dati da un sistema CRM a un database cloud deve tenere sotto controllo log dei server, stato delle API, operazioni concluse e ancora da eseguire, errori e tentativi precedenti. Per questo vengono utilizzati strumenti esterni di memoria e monitoraggio, ma finora il loro impiego è stato generalmente governato attraverso prompt, euristiche e regole specifiche per ciascun dominio. Ogni nuovo modello può inoltre richiedere modifiche alle strutture di memoria, ai permessi, alle configurazioni della sandbox e ai meccanismi di controllo, aumentando il lavoro necessario per adattare l’infrastruttura.
EvoHarness-RL riduce questa complessità rappresentando l’harness attraverso tre stati principali, riuniti nell’acronimo BPE: Belief, Progress ed Experience. Belief contiene ciò che l’agente ritiene vero sull’ambiente corrente, Progress registra i sotto-obiettivi completati e quelli ancora aperti, mentre Experience conserva competenze riutilizzabili, tentativi precedenti, errori e priorità di ricerca. L’interazione con questo spazio di lavoro è stata a sua volta ricondotta a quattro meta-azioni: track, utilizzata per verificare lo stato corrente; commit, per registrare i progressi; recall, per recuperare esperienze passate; e note, per memorizzare nuove informazioni. In questo modo infrastrutture esterne molto diverse possono essere esposte all’agente attraverso una stessa interfaccia decisionale.
Il metodo non si limita però a mettere a disposizione questi stati. Nella prima fase di addestramento, Qwen3-8B viene sottoposto a supervised fine-tuning per apprendere il significato della struttura BPE e l’utilizzo delle quattro meta-azioni. Successivamente viene applicato un addestramento per reinforcement learning basato su Group Relative Policy Optimization, GRPO, nel quale anche l’accesso all’harness viene considerato un’azione con un costo. L’agente deve quindi imparare a valutare se consultare memoria e stato esterno produca effettivamente un beneficio, invece di ricorrervi automaticamente a ogni passaggio. La funzione di ricompensa tiene conto del successo del compito, dell’efficienza, della diversità delle azioni, della riduzione delle ripetizioni e della correttezza del formato operativo.
La valutazione principale è stata eseguita su ALFWorld, ambiente testuale nel quale l’agente deve completare attività domestiche composte da più passaggi, come individuare oggetti, spostarli, pulirli, riscaldarli o raffreddarli. Qwen3-8B utilizzato con il normale approccio ReAct ha raggiunto un tasso medio di successo del 47,9%. Con la sola struttura BPE, nella configurazione EvoHarness-Base, il risultato è salito al 56,4%, mentre EvoHarness-SFT ha raggiunto il 68,6%. La versione completa EvoHarness-RL, che combina supervised fine-tuning e GRPO, ha ottenuto il 96,9%.
Il risultato è particolarmente significativo nel confronto con modelli più grandi. Qwen3-8B equipaggiato con EvoHarness-RL ha raggiunto praticamente lo stesso livello di Claude Opus 4.5 utilizzato con ReAct, fermo al 96,4%, e ha superato anche SkillOS, con l’80,2%, e SkillRL, con l’89,9%. Il miglioramento non deriva quindi da un aumento delle dimensioni del modello, ma dalla capacità di utilizzare in maniera più efficace lo stato esterno e di decidere autonomamente quando consultarlo.
Anche la sola disponibilità della struttura BPE, senza il reinforcement learning specifico di EvoHarness-RL, ha prodotto incrementi significativi su modelli differenti. GPT-4.1 è passato dal 47,9% al 70,0% di successo, con un aumento di 22,1 punti percentuali, mentre GPT-5 è salito dal 60,7% all’85,0%, guadagnando 25,7 punti. Claude Opus 4.5, già molto vicino al limite massimo nel benchmark, è migliorato dal 96,4% al 98,5%. Questi risultati indicano che la suddivisione tra conoscenza corrente, avanzamento del lavoro ed esperienza passata può essere utile anche quando non viene accompagnata dal processo completo di addestramento.
Le prove di ablazione hanno mostrato inoltre che le tre componenti del BPE non sono intercambiabili. Senza Belief, l’agente perde precisione nel mantenere la rappresentazione dell’ambiente e dello stato degli oggetti; eliminando Progress, diventa più difficile gestire attività nelle quali diversi sotto-obiettivi devono essere concatenati; senza Experience, il sistema non riesce a riutilizzare strategie e fallimenti precedenti e il tasso medio di successo scende fino al 48,6%. La struttura funziona quindi come un’interfaccia integrata, nella quale le tre forme di stato esterno svolgono ruoli complementari.
Durante il reinforcement learning è emerso anche un comportamento definito “harness annealing”. Nelle prime fasi l’agente consulta frequentemente Experience e Progress e fa largo uso dell’ambiente esterno, ma con il procedere dell’addestramento parte delle strategie ricorrenti viene interiorizzata dal modello. Di conseguenza, le chiamate all’harness diminuiscono progressivamente fino a stabilizzarsi a circa una per episodio. Il sistema impara quindi a evitare accessi inutili alla memoria quando il comportamento necessario è già stato assimilato e a ricorrere allo stato esterno soltanto nei passaggi in cui porta un vantaggio operativo.
Parallelamente è stato osservato un processo definito “harness evolution”. All’inizio Experience raccoglie rapidamente tecniche generali, procedure specifiche, errori e priorità di ricerca, ma durante l’apprendimento le informazioni duplicate vengono consolidate e quelle scarsamente utili vengono eliminate. La memoria esterna non cresce quindi indefinitamente attraverso una semplice accumulazione di dati, ma tende a trasformarsi in un archivio più compatto e adattivo. Questo meccanismo affronta uno dei limiti delle memorie cumulative, nelle quali informazioni obsolete, conclusioni errate e tentativi falliti possono continuare a influenzare il comportamento dell’agente anche quando non sono più pertinenti.
Un esempio utilizzato dai ricercatori mostra direttamente questa capacità di aggiornamento. In un’attività in cui l’agente deve trovare un bollitore, pulirlo e posizionarlo sul tavolo, Experience indicava inizialmente che l’oggetto si trovava sul piano della cucina. Dopo aver verificato più volte quella posizione senza trovare il bollitore, l’agente non ha continuato a seguire ciecamente il ricordo precedente, ma ha cercato altrove, individuandolo infine sul fornello. A quel punto ha aggiornato la memoria segnalando che l’informazione precedente era errata, realizzando quindi un ciclo di autocorrezione tra esperienza memorizzata e osservazione corrente.
EvoHarness-RL ha mostrato capacità di generalizzazione anche su attività ALFWorld non incluse nell’addestramento. In questo scenario, Qwen3-8B di base ha ottenuto un tasso di successo del 50,0%; introducendo BPE soltanto durante l’inferenza il risultato è salito al 77,6%, mentre la versione completa con SFT e GRPO ha raggiunto l’86,6%. Secondo i ricercatori, il supervised fine-tuning da solo non è sufficiente per insegnare all’agente quando conviene utilizzare l’harness in ambienti nuovi, mentre il meccanismo GRPO sensibile ai costi migliora proprio questa capacità decisionale.
La stessa struttura può essere applicata a scenari aziendali differenti. Nello sviluppo software, Belief può descrivere lo stato corrente del codice e dei componenti, Progress può registrare modifiche completate, test, dipendenze e attività ancora aperte, mentre Experience può conservare soluzioni utilizzate in precedenza e casi di errore. Nei processi finanziari e di compliance, Belief può rappresentare normative ed evidenze correnti, Progress le verifiche concluse e le eccezioni ancora irrisolte, ed Experience i problemi ricorrenti e le relative modalità di gestione.
L’adozione del metodo non richiede necessariamente la sostituzione degli strumenti e dei framework agentici già utilizzati dalle organizzazioni. EvoHarness-RL prevede infatti un environment adapter che consente di mantenere strumenti interni e sistemi di gestione dello stato specifici per ciascun ambiente, aggiungendo sopra di essi il livello BPE utilizzato dall’agente. L’implementazione concreta dell’harness può quindi cambiare da un dominio all’altro, mentre la politica con cui l’agente decide quando leggere, aggiornare e utilizzare le informazioni esterne può rimanere condivisa.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)