L’adozione degli agenti di intelligenza artificiale nelle imprese sta avanzando più rapidamente dei sistemi utilizzati per controllarne il comportamento. Le aziende stanno affidando a questi strumenti attività sempre più articolate, con accesso a dati, applicazioni e procedure operative, ma continuano a disporre di metodi di valutazione progettati soprattutto per modelli che generano risposte testuali e non per software capaci di prendere decisioni ed eseguire azioni.
Un’indagine condotta su 157 organizzazioni mostra con chiarezza questa distanza. Il 66% delle imprese interpellate sta implementando agenti autonomi, mentre soltanto il 5% dichiara di fidarsi pienamente dei sistemi di valutazione utilizzati per verificarli. Il problema non riguarda quindi soltanto la qualità dei modelli, ma la capacità di stabilire con sufficiente certezza se un agente si comporterà correttamente quando opera all’interno di un processo reale.
La criticità emerge soprattutto nel passaggio dalla sperimentazione alla produzione. Circa la metà delle aziende ha già distribuito almeno un agente che aveva superato i test interni, ma che successivamente ha manifestato problemi durante l’utilizzo operativo. Un risultato positivo ottenuto in laboratorio non garantisce infatti che il sistema sappia affrontare tutte le combinazioni di dati, eccezioni, autorizzazioni e dipendenze applicative presenti in un ambiente aziendale.
I benchmark tradizionali misurano spesso la capacità di completare un compito in condizioni definite, ma non verificano necessariamente la stabilità del comportamento nel tempo. Un agente può concludere correttamente una procedura in una singola esecuzione e produrre un risultato diverso quando la stessa attività viene ripetuta, quando cambia un’informazione nel contesto o quando uno strumento esterno risponde in modo inatteso.
Questa variabilità diventa particolarmente rilevante nei flussi di lavoro composti da molte operazioni consecutive. Un agente può interpretare una richiesta, consultare una banca dati, scegliere uno strumento, compilare un documento, aggiornare un sistema gestionale e inviare una comunicazione. Anche quando ciascun passaggio presenta una probabilità di errore relativamente bassa, il rischio complessivo aumenta lungo la catena di esecuzione.
La valutazione non può quindi limitarsi alla risposta finale. Deve ricostruire il percorso seguito dall’agente, controllando le fonti consultate, gli strumenti utilizzati, le autorizzazioni richieste, le modifiche effettuate e le decisioni intermedie. Senza questa osservabilità, un risultato apparentemente corretto può nascondere un procedimento fragile, non conforme alle politiche aziendali o difficile da riprodurre.
Un ulteriore limite è rappresentato dai set di test statici. Gli agenti operano in ambienti dinamici, nei quali cambiano documenti, applicazioni, regole interne, API e permessi. Una valutazione costruita su casi predefiniti rischia quindi di perdere efficacia rapidamente e di non rilevare nuovi modelli di errore comparsi dopo un aggiornamento del modello o una modifica dell’infrastruttura.
Per ridurre questo divario, le imprese devono passare da test occasionali a una valutazione continua. Ogni aggiornamento del modello, del prompt, degli strumenti disponibili o delle fonti dati può modificare il comportamento del sistema e richiede nuove verifiche. Le prove devono includere casi normali, situazioni limite, dati incompleti, istruzioni contraddittorie, indisponibilità dei servizi esterni e tentativi di indurre l’agente a superare i propri permessi.
La valutazione deve inoltre essere proporzionata al livello di autonomia. Un assistente che prepara una bozza sottoposta a controllo umano presenta un rischio diverso rispetto a un agente autorizzato a modificare un database, approvare una transazione o intervenire sull’infrastruttura informatica. All’aumentare dell’impatto potenziale devono crescere la profondità dei test, la tracciabilità delle azioni e la presenza di soglie che impongano una conferma umana.
Diventa quindi necessario misurare non solo l’accuratezza, ma anche affidabilità, coerenza, sicurezza, rispetto delle politiche, latenza, costi e capacità di recuperare dopo un errore. Un agente che completa correttamente il 90% delle attività può risultare inutilizzabile se il restante 10% comprende operazioni irreversibili o violazioni dei controlli di accesso.
La supervisione umana continua a rappresentare il principale meccanismo di garanzia, ma non può essere considerata una soluzione sufficiente per sistemi destinati a operare su larga scala. Se ogni azione deve essere ricontrollata manualmente, il vantaggio dell’automazione diminuisce. Se invece il controllo viene ridotto senza disporre di valutazioni affidabili, aumenta il rischio di lasciare agli agenti un margine operativo superiore alla capacità dell’organizzazione di individuarne gli errori.
L’ostacolo alla diffusione dell’intelligenza artificiale agentica non è quindi soltanto la capacità di costruire sistemi più autonomi. La sfida consiste nel realizzare un’infrastruttura di verifica altrettanto evoluta, capace di seguire il comportamento degli agenti durante l’intero ciclo operativo e non soltanto di assegnare un punteggio alle loro risposte. Senza questo passaggio, le imprese rischiano di aumentare l’autonomia dei sistemi più rapidamente della propria capacità di controllarne conseguenze, limiti e affidabilità.