Nvidia ha recentemente introdotto un nuovo blueprint per agenti di Intelligenza Artificiale (AI) progettato per facilitare l’analisi di video e immagini. Questa iniziativa mira a semplificare la creazione di agenti AI capaci di esaminare grandi volumi di contenuti visivi, rispondere a domande degli utenti, generare riassunti e attivare allarmi per scenari specifici.
Con oltre 1,5 miliardi di telecamere aziendali distribuite a livello globale, vengono generati annualmente circa 7 trilioni di ore di video. Tuttavia, meno dell’1% di questi video viene effettivamente visionato in tempo reale da esseri umani, il che significa che incidenti operativi critici possono passare inosservati. Questo comporta costi significativi, ad esempio, i produttori perdono trilioni di dollari ogni anno a causa di scarsa qualità del prodotto o difetti che avrebbero potuto essere individuati o addirittura previsti utilizzando agenti AI in grado di percepire, analizzare e assistere gli esseri umani nell’azione.
Il blueprint di Nvidia si basa sulla piattaforma Metropolis e integra i modelli linguistici visivi (VLM) Cosmos Nemotron, i modelli linguistici di grandi dimensioni (LLM) Llama Nemotron e il NeMo Retriever. Questa combinazione offre agli sviluppatori gli strumenti necessari per costruire e distribuire agenti AI in grado di analizzare grandi quantità di contenuti video e immagini. L’integrazione con la piattaforma software Nvidia AI Enterprise, che include microservizi Nvidia NIM per VLM, LLM e framework avanzati per la generazione aumentata da recupero, consente un’elaborazione batch dei video fino a 30 volte più veloce rispetto alla visione in tempo reale.
Il blueprint offre diverse funzionalità agentiche AI, come il ragionamento a catena di pensieri, la pianificazione delle attività e l’invocazione di strumenti, che possono aiutare gli sviluppatori a semplificare la creazione di agenti visivi potenti e diversificati per risolvere una vasta gamma di problemi. Gli agenti AI con capacità di analisi video possono essere combinati con agenti con diverse competenze per abilitare servizi AI agentici ancora più sofisticati.
L’adozione di questo blueprint consente alle aziende di sviluppare agenti AI personalizzati per una varietà di applicazioni, tra cui la sorveglianza della sicurezza, l’analisi dei dati dei clienti e l’automazione dei processi industriali. Questi agenti possono rispondere a domande degli utenti, generare riassunti e attivare allarmi per scenari specifici, migliorando l’efficienza operativa e riducendo i costi associati all’analisi manuale dei video.