Google Cloud ha ampliato le funzionalità di monitoraggio, valutazione e gestione dei costi degli agenti di intelligenza artificiale integrati in BigQuery e Looker, introducendo un’infrastruttura di telemetria che permette alle organizzazioni di conservare i dati operativi direttamente nelle proprie tabelle BigQuery. Il sistema supporta sia gli agenti gestiti da Google per Conversational Analytics sia quelli sviluppati autonomamente attraverso Agent Development Kit (ADK) e LangGraph, uniformando la raccolta delle informazioni relative a utilizzo, prestazioni e consumi. Gli agenti gestiti producono automaticamente la telemetria prevista dalla piattaforma, mentre quelli personalizzati possono inviare eventi strutturati attraverso una semplice strumentazione software basata sugli SDK. I dati raccolti vengono resi disponibili negli strumenti di amministrazione e sviluppo di Google Cloud e rimangono all’interno di dataset appartenenti al cliente. Le dashboard preconfigurate di BigQuery Studio, già disponibili generalmente, consentono di osservare il numero di utilizzi, le sessioni attive, le principali fonti di conoscenza consultate e la latenza delle richieste. Anche i pannelli System Activity dedicati a Conversational Analytics sono disponibili generalmente nelle versioni Looker Google Cloud core e Looker original, mentre le funzionalità relative alle valutazioni degli utenti e alla revisione delle interrogazioni nella sezione Responses & feedback rimangono in anteprima.
L’architettura distingue esplicitamente la telemetria operativa dai contenuti delle conversazioni. Cloud Monitoring raccoglie metriche aggregate relative a volumi di richieste, tempi di risposta e utilizzo dei token, mentre Cloud Trace permette di ricostruire le singole fasi di elaborazione attraverso le tracce delle richieste. Gli observability scopes di Cloud Trace consentono inoltre di aggregare la visibilità su progetti differenti, facilitando il controllo degli agenti distribuiti in infrastrutture articolate. Le metriche operative e gli span delle tracce gestite direttamente da Google vengono depurati dai contenuti principali dei clienti: non comprendono prompt degli utenti, risposte dei modelli, ragionamenti interni o istruzioni SQL generate. Questa separazione permette ai responsabili dell’infrastruttura di monitorare il comportamento tecnico dei sistemi senza ottenere automaticamente accesso alle informazioni presenti nelle interazioni. Per esigenze di verifica più approfondite, i proprietari e gli editor degli agenti possono attivare individualmente la registrazione delle conversazioni. In questo caso, un service agent gestito da Google invia prompt, risposte e dati di telemetria dei singoli turni attraverso BigQuery Storage Write API, memorizzandoli in una tabella denominata agent_events controllata dal cliente.
Le tabelle di registrazione ereditano le politiche di Identity and Access Management associate ai dataset BigQuery, le eventuali chiavi di cifratura gestite dal cliente e le protezioni definite attraverso VPC Service Controls. Prima della memorizzazione viene effettuata una verifica delle condizioni di accesso ai dati utilizzati durante l’interazione: se una fonte di conoscenza applica controlli di sicurezza a livello di riga, policy tag a livello di colonna oppure mascheramento dinamico dei dati, la registrazione dell’intero turno interessato viene esclusa. Un eventuale errore nel sistema di logging non interrompe la sessione dell’utente, mantenendo separata la continuità del servizio dalle operazioni di osservabilità. Gli agenti personalizzati possono conservare informazioni diagnostiche più dettagliate attraverso un plugin open source per ADK, capace di trasmettere a BigQuery alberi completi delle chiamate agli strumenti, dati di telemetria temporali e contenuti multimodali. Il logging delle conversazioni degli agenti gestiti da Google esclude invece gli argomenti tecnici di basso livello delle chiamate agli strumenti e il codice SQL interno, adottando un perimetro informativo più ristretto.
La stessa infrastruttura viene utilizzata per analizzare e controllare i costi. Per ogni turno di conversazione, i registri BigQuery possono memorizzare il numero di token in ingresso e in uscita, quelli impiegati nei processi interni del modello, i token recuperati dalla cache, il consumo complessivo e la latenza totale. Looker System Activity rende disponibili anche stime dei token utilizzati nelle attività di business intelligence. Google Cloud ha inoltre introdotto controlli che limitano il numero di byte esaminati da una singola query BigQuery: la valutazione preliminare tramite dry run consente di stimare la quantità di dati da leggere e bloccare interrogazioni eccessivamente onerose prima dell’esecuzione, senza generare costi di scansione on demand. Sono disponibili in anteprima anche quote giornaliere per i token in ingresso e in uscita utilizzati da BigQuery e Conversational Analytics API, configurabili per progetto, utente oppure singolo agente attraverso Google Cloud Console o l’interfaccia a riga di comando gcloud. In questo modo il monitoraggio dei consumi viene affiancato da meccanismi preventivi per limitarli.
Per la verifica qualitativa delle risposte, Google Cloud mette a disposizione Prism, uno strumento open source destinato alla valutazione degli agenti Conversational Analytics basati su tabelle BigQuery o Looker Explores. Prism consente di costruire batterie di test riutilizzabili, definire condizioni di verifica mediante espressioni regolari e individuare agenti distribuiti in regioni differenti. Le prove riguardano principalmente la correttezza delle interrogazioni SQL generate e la qualità delle risposte, permettendo di confrontare il comportamento degli agenti prima di introdurre modifiche ai prompt, ai modelli o agli schemi dei dati. I risultati delle esecuzioni possono essere registrati in tabelle BigQuery partizionate per giorno e confrontati con gli eventi agent_events provenienti dall’ambiente produttivo. Google propone inoltre un sistema nativo di valutazione degli agenti BigQuery, ancora in anteprima, accessibile attraverso API e notebook Colab guidato. L’insieme delle funzionalità introduce un livello comune per osservabilità, controllo economico e valutazione, distinguendo tuttavia le componenti già generalmente disponibili dalle quote per i token, dalle valutazioni native e da alcune funzioni di feedback di Looker che rimangono sperimentali.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)