La startup Perpetual sta sviluppando un sistema di continual learning pensato per consentire agli agenti AI utilizzati nelle aziende di migliorare attraverso il lavoro che svolgono, utilizzando risultati, errori e feedback accumulati dopo il deployment. L’obiettivo è superare un limite comune degli agenti attuali: una volta messi in produzione possono eseguire attività, utilizzare strumenti, interrogare API e collaborare con gli utenti, ma ciò che accade durante queste operazioni generalmente non modifica il loro comportamento nelle sessioni successive. Un errore commesso oggi può quindi ripresentarsi anche in futuro, nonostante il sistema disponga dello storico necessario per riconoscerlo. Perpetual punta invece a trasformare questa esperienza operativa in un segnale utilizzabile per migliorare progressivamente l’agente.
Il problema diventa particolarmente rilevante nei workflow aziendali di lunga durata. Un agente può dover analizzare lo stato di un’attività, recuperare informazioni, interrogare sistemi interni, utilizzare diversi strumenti, verificare risultati intermedi e infine osservare se il processo è terminato correttamente. L’intera sequenza costituisce una trajectory, cioè una traccia composta dalle decisioni prese dall’agente, dalle chiamate agli strumenti, dalle osservazioni ricevute e dal risultato finale. Perpetual utilizza proprio queste traiettorie come materiale di apprendimento, considerando l’esito concreto dell’attività uno dei segnali principali per valutare la qualità delle decisioni che lo hanno preceduto.
Dopo la conclusione di un’attività, il sistema può combinare l’esito ottenuto con una revisione effettuata da un modello più avanzato oppure da un esperto del dominio. Il revisore riceve il compito originale, l’intera sequenza delle operazioni e le azioni effettuate dall’agente, ma non necessariamente una soluzione corretta già predisposta. Deve invece individuare retrospettivamente ciò che avrebbe potuto essere eseguito meglio. Il feedback risultante viene trasformato in nuova supervisione per il modello utilizzato dall’agente, avvicinando il processo a quello con cui un dipendente riceve una correzione dopo aver completato un’attività.
La prima implementazione sperimentale di Perpetual utilizza Qwen3.5-9B come modello di base e una tecnica denominata SDPO. Il modello studente vede il compito originale, mentre un modello insegnante dispone anche delle informazioni ottenute a posteriori, che possono provenire da feedback umano, risultati dell’ambiente, modelli linguistici più potenti o traiettorie alternative terminate con successo. L’implementazione utilizza SDPO con un obiettivo basato sulla divergenza Jensen-Shannon, una strategia di distillazione Top-K + Tail e un LLM indipendente come giudice durante la valutazione. L’obiettivo non è semplicemente correggere la risposta finale, ma modificare il comportamento del modello sulla base dell’esperienza prodotta durante un’intera sequenza agentica.
Perpetual distingue inoltre diversi livelli nei quali può essere conservato ciò che viene appreso. Una correzione non deve necessariamente tradursi in un aggiornamento dei pesi del modello: alcuni elementi possono diventare parte della memoria dell’agente, altri possono modificare l’agent harness, cioè il sistema che circonda il modello e gestisce strumenti, retrieval, controlli, policy ed evaluator. Solo i comportamenti sufficientemente persistenti e verificati possono essere consolidati successivamente nei pesi. In questo modo informazioni contingenti e soluzioni rapide possono essere applicate velocemente, mentre cambiamenti più profondi richiedono evidenze raccolte attraverso più attività.
A questo processo Perpetual affianca Auto-Discover, un componente incaricato di stabilire quali correzioni rappresentino realmente un comportamento generalizzabile. Imparare automaticamente da qualsiasi feedback potrebbe infatti produrre nuovi errori, perché una singola indicazione può essere specifica di un caso, incompleta oppure semplicemente sbagliata. Auto-Discover genera e verifica ipotesi sulle cause di un fallimento, elimina le spiegazioni che non trovano riscontro e conserva i pattern che ricorrono attraverso più traiettorie. Tra gli esempi figurano la tendenza ad attribuire troppo peso a segnali superficiali ignorando il contesto economico, l’uso di documenti recuperati senza verificarne l’applicabilità, la selezione dello strumento sbagliato, la mancata richiesta di chiarimenti oppure una decisione presa prima di aver raccolto prove sufficienti.
Una volta validato, il pattern può essere utilizzato per creare attività correlate, generare feedback retrospettivo mirato e costruire valutazioni con cui controllare che il difetto sia stato realmente corretto. L’aggiornamento finale può quindi riguardare la memoria, l’agent harness o il modello stesso. Perpetual punta in questo modo a far apprendere al sistema la struttura generale dell’errore anziché memorizzare semplicemente la singola correzione ricevuta. Un principio importante riguarda anche la separazione dei dati aziendali dai pattern appresi: secondo l’azienda, i pattern possono essere trasferiti e riutilizzati senza dover trasformare i dati privati dei clienti in materiale condiviso di addestramento.
Questo aspetto è legato anche alla scelta di eseguire l’apprendimento all’interno dell’ambiente dell’impresa. I workflow interni, le interazioni con i clienti, le procedure e le eccezioni accumulate nel tempo rappresentano infatti conoscenze proprietarie che un’azienda può non voler trasferire a un provider di modelli frontier. Perpetual considera il continual learning locale una modalità per mantenere questa conoscenza sotto il controllo dell’organizzazione, permettendo agli agenti di adattarsi al cambiamento delle procedure, dei prodotti, della documentazione e delle aspettative degli utenti senza dipendere esclusivamente da un nuovo modello generale fornito dall’esterno.
Per verificare il sistema, Perpetual ha utilizzato τ-Bench, un benchmark progettato per valutare agenti impegnati in workflow aziendali realistici che richiedono ragionamento, memoria e utilizzo di strumenti. A differenza dei test che misurano la correttezza di una singola risposta, τ-Bench verifica se l’agente riesce a completare correttamente l’intero compito. La società ha esaminato i primi 32 task della sezione retail del benchmark utilizzando lo stesso Qwen3.5-9B prima e dopo il processo di continual learning.
Il modello Qwen3.5-9B standard ha ottenuto un valore di 75 in strict pass@1 su τ-Bench Retail-32, mentre dopo l’apprendimento il risultato ha superato 97. Secondo il confronto pubblicato da Perpetual, il modello adattato opera inoltre su una scala di costo normalizzata per task pari a circa un quarantesimo di quella associata ai sistemi frontier utilizzati come riferimento. Il confronto non significa che il piccolo modello raggiunga automaticamente le stesse prestazioni dei modelli più avanzati su qualsiasi attività, ma mostra come il miglioramento derivato dall’esperienza possa ridurre sensibilmente la distanza in uno specifico insieme di workflow aziendali.
Per verificare se l’apprendimento fosse limitato a τ-Bench, Perpetual ha utilizzato anche APEX-Agents, un benchmark significativamente diverso. In questo caso Qwen3.5-9B partiva da un’accuratezza di circa l’1%, salita a circa il 13% dopo l’apprendimento. Il valore resta inferiore alle prestazioni dei sistemi frontier, ma secondo Perpetual porta il piccolo modello a una distanza inferiore a tre volte rispetto a questi ultimi, sempre su una scala di costo normalizzata indicata intorno a un quarantesimo. La differenza tra i risultati ottenuti nei due benchmark evidenzia anche che il sistema non rende automaticamente competitivo un modello più piccolo in qualsiasi scenario e che il grado di miglioramento dipende dalla natura delle attività e dall’esperienza disponibile.
Il modello proposto da Perpetual punta quindi a spostare una parte dell’evoluzione degli agenti dal tradizionale ciclo di addestramento centralizzato a un processo continuo basato sul lavoro realmente svolto nell’organizzazione. Ogni attività può produrre nuovi segnali attraverso errori, correzioni, approvazioni, chiamate agli strumenti e risultati finali; Auto-Discover stabilisce quali di questi segnali rappresentino conoscenza riutilizzabile e il sistema decide successivamente se applicarla alla memoria, alla struttura operativa dell’agente oppure ai pesi del modello. L’obiettivo è ottenere agenti aziendali che non si limitino a conservare più contesto, ma che modifichino progressivamente il proprio modo di affrontare attività simili sulla base dei risultati osservati nelle esecuzioni precedenti.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)