Google ha introdotto nei suoi più recenti modelli Gemini una nuova funzione di analisi video denominata Agentic Video Understanding, progettata per consentire all’intelligenza artificiale di individuare autonomamente le parti di un filmato che devono essere esaminate con maggiore attenzione. Il sistema abbandona quindi l’approccio nel quale l’intero video viene analizzato con una frequenza di campionamento uniforme e permette al modello di decidere quali scene osservare, in quale momento e con quale livello di dettaglio. La funzione viene applicata a Gemini 3.7 Flash, Gemini 3.6 Flash e Gemini 3.5 Flash-Lite e punta soprattutto a migliorare l’elaborazione dei video di lunga durata riducendo contemporaneamente quantità di token utilizzati, costi di elaborazione e rischio di perdere eventi molto brevi.
Nei sistemi tradizionali di comprensione video, l’analisi viene normalmente eseguita utilizzando un numero di fotogrammi al secondo, o FPS, stabilito preventivamente dallo sviluppatore. L’impostazione predefinita utilizzata da Gemini corrisponde a un fotogramma al secondo e può essere modificata attraverso le API. Questo sistema introduce però un compromesso diretto tra accuratezza e costo: aumentando gli FPS è possibile osservare una quantità maggiore di informazioni visive, ma cresce rapidamente anche il numero di token necessari per elaborare un video lungo; riducendo invece il campionamento si risparmiano risorse, ma aumenta la possibilità di non acquisire eventi che avvengono nell’arco di pochi istanti o modifiche visive particolarmente rapide.
Con l’Agentic Video Understanding è direttamente Gemini a stabilire come esplorare il filmato in base alla domanda ricevuta e all’obiettivo dell’analisi. Il modello può utilizzare congiuntamente fotogrammi, audio, sottotitoli e trascrizioni per individuare le sezioni probabilmente rilevanti e, quando necessario, tornare su uno specifico intervallo temporale esaminandolo con una frequenza di fotogrammi più elevata. L’elaborazione non consiste quindi più nel campionare indiscriminatamente tutto il contenuto con gli stessi parametri, ma nel recuperare selettivamente i segnali e i momenti utili per costruire la risposta.
Nei benchmark standard dedicati all’analisi video, questa modalità ha permesso ai modelli Gemini di ridurre fino al 66% il costo dell’elaborazione e fino all’88% il consumo di token rispetto al metodo convenzionale. Nello stesso tempo, la possibilità di riesaminare dinamicamente determinate sezioni ha consentito di ottenere un miglioramento dell’accuratezza fino al 7%. Il vantaggio diventa particolarmente rilevante nei contenuti di lunga durata, che possono andare da un tutorial di circa dieci minuti a una lezione di 90 minuti fino a registrazioni estese per diverse ore.
La differenza emerge soprattutto quando all’interno di un filmato lungo è necessario individuare eventi molto brevi. Una scansione uniforme a bassa frequenza potrebbe non acquisire il fotogramma nel quale si verifica l’evento ricercato, mentre mantenere un’elevata frequenza di campionamento per tutta la durata del contenuto richiederebbe una quantità molto maggiore di token. L’approccio agentico permette invece di effettuare una prima esplorazione e aumentare il dettaglio soltanto nelle sezioni considerate pertinenti, riducendo il conflitto tra completezza dell’analisi e risorse necessarie per eseguirla.
Tra le applicazioni previste rientra la ricerca di eventi che si verificano in intervalli inferiori al secondo, come cambiamenti di scena o di stato estremamente rapidi. La stessa tecnologia può essere utilizzata per individuare una specifica informazione all’interno di filmati della durata di diverse ore, secondo un modello assimilabile alla ricerca di un ago in un pagliaio, oppure per analizzare movimenti veloci e piccole anomalie visive che potrebbero non essere intercettate da un campionamento a bassa frequenza.
Un altro ambito riguarda il monitoraggio di azioni ripetitive e degli oggetti presenti in una sequenza. Gemini può utilizzare l’analisi selettiva per seguire uno specifico elemento nel tempo, controllare la ripetizione di determinate operazioni oppure contarne le occorrenze. La capacità di combinare queste informazioni con audio e trascrizioni consente inoltre al modello di utilizzare segnali provenienti da modalità differenti per stabilire dove concentrare l’elaborazione visiva.
Tra i tre modelli sui quali è stata introdotta la funzione, Gemini 3.7 Flash ha ottenuto i risultati migliori sia per qualità complessiva sia nel rapporto tra prestazioni e costi. Nei test effettuati si colloca sulla cosiddetta Pareto frontier, cioè nell’area nella quale non è possibile migliorare ulteriormente uno dei due parametri, accuratezza o costo, senza peggiorare l’altro. Google lo indica quindi come il modello con il migliore equilibrio complessivo tra qualità dell’analisi video e risorse richieste.
Gli sviluppatori possono utilizzare Agentic Video Understanding attraverso le Gemini API disponibili in Google AI Studio e nella piattaforma Gemini Enterprise Agent. Per attivare la nuova modalità è sufficiente impostare il sistema di elaborazione video su “agentic” all’interno della configurazione API. Non viene applicato un costo aggiuntivo specifico per la funzione: l’utilizzo continua a essere calcolato secondo il normale schema tariffario dei token previsto dalle API Gemini.
Google prevede inoltre di estendere l’analisi video agentica oltre gli strumenti destinati agli sviluppatori. La funzione dovrebbe arrivare anche nell’app Gemini per i modelli Flash e Flash-Lite e successivamente essere integrata in Ask YouTube, il sistema che permette di interrogare l’intelligenza artificiale durante la visualizzazione dei video sulla piattaforma. In questo caso Gemini potrà utilizzare direttamente le informazioni visive effettivamente presenti nel filmato, individuando e riesaminando le scene necessarie per fornire risposte più precise alle domande dell’utente.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)