Twelve Labs ha lanciato Jockey, un agente di intelligenza artificiale dedicato alla comprensione e all’elaborazione dei contenuti video, progettato per permettere anche agli utenti privi di competenze tecniche di individuare scene specifiche e preparare materiali audiovisivi attraverso richieste formulate in linguaggio naturale. Il sistema utilizza i foundation model proprietari di Twelve Labs, integrando tecnologie di generazione degli embedding e dei metadati per analizzare le informazioni presenti all’interno dei video. L’utente può descrivere la scena che desidera recuperare oppure il tipo di elaborazione da effettuare e affidare all’agente l’identificazione dei segmenti pertinenti, senza dover percorrere manualmente l’intera registrazione o individuare in anticipo i timestamp delle sequenze interessate.
Le funzionalità comprendono l’analisi di filmati originali di lunga durata, l’identificazione delle scene più rilevanti e la costruzione di una prima selezione di montaggio attraverso l’aggregazione degli highlight. Jockey può inoltre estrarre separatamente le clip che presentano risultati migliori in termini di reazione del pubblico, consentendo di riutilizzarle nella produzione di materiali promozionali e contenuti brevi. L’elaborazione si basa sulla comprensione semantica delle sequenze audiovisive e sulla loro descrizione mediante metadati, con l’obiettivo di associare le richieste dell’utente al contenuto effettivo del filmato. Il sistema permette così di affrontare attività come la selezione delle sequenze più adatte a un video di marketing, la preparazione di clip per i social network e l’individuazione di contenuti da condividere con collaboratori e gruppi di produzione.
Una funzione specifica riguarda l’analisi di materiali pubblicati sulle piattaforme social. Inserendo collegamenti a video disponibili su YouTube e TikTok, l’agente può esaminare tendenze e indicatori di risposta del pubblico per proporre video di riferimento destinati alla preparazione di contenuti promozionali. La piattaforma comprende inoltre strumenti per condividere i risultati delle elaborazioni con altri componenti del gruppo di lavoro, facilitando la revisione dei segmenti individuati e la selezione del materiale da utilizzare nelle successive fasi di produzione. Jockey è utilizzabile attraverso applicazioni AI come ChatGPT e Claude e può essere integrato nei servizi sviluppati dalle imprese mediante API, senza richiedere necessariamente la realizzazione di un’interfaccia di ricerca video completamente autonoma.
Il progetto si inserisce nello sviluppo delle tecnologie Twelve Labs per l’analisi dei filmati, attraverso modelli specializzati nella comprensione del contenuto visivo e nella ricerca semantica. L’azienda aveva già esteso le proprie attività ai sistemi di intelligenza artificiale fisica e alla produzione di dati utilizzabili per l’addestramento di robot, oltre a sviluppare funzionalità di interrogazione delle sequenze video mediante linguaggio naturale. Secondo Lee Jae-sung, amministratore delegato di Twelve Labs, Jockey collega organicamente i principali modelli AI dell’azienda in un sistema capace di utilizzare il contenuto audiovisivo per successive attività operative. Il lancio è rivolto in particolare alla produzione di clip, video brevi e contenuti di marketing, con l’obiettivo dichiarato di ridurre tempi e costi delle operazioni di ricerca, selezione e preparazione dei materiali. Non sono stati comunicati benchmark quantitativi sulle prestazioni dell’agente, né dati completi sui prezzi e sui limiti di utilizzo del servizio.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)