Nvidia utilizza l’intelligenza artificiale per creare video slo-mo convincenti, inserendo cornici extra
Una nuova ricerca potrebbe rendere più facile catturare lo slomo sul tuo smartphone
Creare filmati al rallentatore significa catturare un numero elevato di fotogrammi al secondo. Se non si registra abbastanza, diventa instabile e inguardabile non appena si rallenta il video, a meno che non si usi l’intelligenza artificiale per immaginare i fotogrammi aggiuntivi.
La nuova ricerca del progettista di chip Nvidia fa esattamente questo, utilizzando l’apprendimento approfondito per trasformare 30 fotogrammi al secondo in splendidi 240 fotogrammi al secondo al rallentatore. In sostanza, il sistema di intelligenza artificiale esamina due diversi fotogrammi e quindi crea metraggio intermedio rintracciando il movimento degli oggetti da un fotogramma all’altro. Non è la stessa cosa che effettivamente immagina il filmato come fa un cervello umano, ma produce risultati precisi (anche se non perfetti).
Il processo richiederà un affinamento prima che possa essere usato commercialmente, ma una volta migliorato, potrebbe essere usato per aggiungere effetti al rallentatore al filmato dello smartphone dopo che è stato registrato.
“Mentre è possibile scattare video a 240 fotogrammi al secondo con un telefono cellulare, la registrazione di tutto ad un frame rate elevato è poco pratica, in quanto richiede grandi memorie ed è molto potente per i dispositivi mobili”, scrivono i ricercatori in un documento descrivendo il loro lavoro sul server di pre-stampa arXiv . “Per questi motivi e altri, è di grande interesse generare video al rallentatore di alta qualità da video esistenti.”
Ci sono tuttavia dei limiti. Per cominciare, i ricercatori hanno dovuto addestrare il loro sistema di apprendimento profondo per gestire specifici tipi di filmati. Quindi, al fine di rallentare un video di una macchina che slitta attraverso l’acqua, hanno dovuto prima addestrarlo su filmati simili. Ciò potrebbe limitare quanto ampiamente una versione consumer della ricerca potrebbe applicare al rallentatore al video di destinazione. Vale anche la pena notare che una tale tecnica non può produrre un numero infinito di fotogrammi intermedi. Senza dati, diventa impossibile per i computer prevedere il movimento e il comportamento degli oggetti del mondo reale. Tuttavia, il sistema di Nvidia può produrre fino a sette fotogrammi intermedi, il che è più che sufficiente per creare decenti movimenti al rallentatore.
La tecnica di Nvidia sembra più veloce e più semplice dei metodi esistenti per simulare il filmato al rallentatore. Aspettatevi di vedere funzioni come questa che appaiono nella fotocamera del telefono nel prossimo futuro.