Twelve Labs, un’azienda specializzata in intelligenza artificiale (AI), ha annunciato ufficialmente “Pegasus”, un modello AI significativo per la comprensione dei video, il giorno 9.
Pegasus è un modello da 80 miliardi di parametri sviluppato da Twelve Labs, presentato come un modello avanzato di fondazione linguistica per video (VLFM).
Promosso come un’innovazione rivoluzionaria, Pegasus si distingue per la capacità di riassumere video lunghi in testo con eccezionale precisione e profondità, simile a quella umana. Offre la possibilità di fare domande e ricevere risposte sui video in modo libero, simile all’interazione con ChatGPT.
Per lo sviluppo di Pegasus, circa il 10% del più grande dataset al mondo—35 milioni su 300 milioni di coppie video-testo—sono stati impiegati per l’apprendimento auto-supervisionato e l’addestramento.
Twelve Labs sottolinea che Pegasus supera i VLFM esistenti del 61% e è anche pronto per l’uso commerciale tramite API, consentendo agli sviluppatori di integrare immediatamente le sue funzionalità.
In modo distintivo, Pegasus va oltre il recente LLM multimodale “GPT4-V” annunciato da OpenAI, che gestisce conversioni “testo-a-testo” o “immagine-a-testo”, abilitando conversioni “video-a-testo”.
Si prevede che il lancio di Pegasus rivoluzionerà la comprensione e l’utilizzo dei contenuti video. Attualmente è accessibile in modo sequenziale tramite lista d’attesa sul sito web di Twelve Labs, con un rilascio pubblico previsto per il primo trimestre dell’anno prossimo.
Twelve Labs sta formando partnership con leader globali in vari settori, tra cui sport, media, intrattenimento, educazione e sicurezza fisica. In Corea, l’azienda sta rapidamente espandendo il suo ambito commerciale, concentrandosi su casi d’uso chiave come un progetto dimostrativo di controllo video intelligente di nuova generazione con la città di Sejong, il Ministero della Scienza e delle TIC e l’Agenzia coreana per Internet & Sicurezza.
Twelve Labs, attiva principalmente negli Stati Uniti, è stata riconosciuta per la sua competenza tecnologica basata su reti neurali multimodali, guadagnandosi un posto nelle liste di CB Insights “Top 100 Aziende AI al Mondo” e “Top 50 Startup AI al Mondo”.
La startup ha anche attirato l’attenzione assicurandosi investimenti strategici per un totale di 10 milioni di dollari (circa 14 miliardi di KRW) da colossi come NVIDIA, Intel, Samsung Next e Korea Investment Partners.
Jaeseong Lee, CEO di Twelve Labs, ha condiviso: “Dal 2021, siamo stati costanti nel portare la tecnologia di comprensione dei video a un livello simile a quello umano”. Ha espresso la speranza che Pegasus affronti problemi di lunga data in vari settori, come la generazione automatica di report per video sulla sicurezza fisica e la creazione di highlight per video sportivi, offrendo soluzioni a sfide precedentemente insormontabili.