È stata recentemente scoperta una tecnologia rivoluzionaria che permette di creare foto e convertirle in video utilizzando semplici istruzioni di testo. Questo nuovo metodo semplifica enormemente il processo di creazione di video rispetto alle tecniche tradizionali, che richiedono la conversione di un’immagine originale in video o l’estrazione di movimenti da un video esistente per applicarli a una foto.
Un articolo di Mark Tech Post ha rivelato che i ricercatori dell’Università di Hong Kong in collaborazione con Alibaba e Ant Group hanno pubblicato su arXiv i risultati di una ricerca su un innovativo modello di intelligenza artificiale (AI) chiamato “LivePhoto”.
Live Photo supera i limiti delle tecniche di animazione di immagini precedentemente esistenti. Mentre i modelli tradizionali richiedono due fasi distinte – acquisire l’immagine originale o crearla tramite intelligenza artificiale generativa, e poi applicare l’animazione – Live Photo unisce questi passaggi in uno. L’utente può creare immagini animate direttamente da istruzioni testuali.
Questo strumento permette agli utenti di controllare con precisione l’intensità del movimento attraverso comandi testuali. L’approccio utilizzato introduce una diffusione stabile arricchita da moduli e strati aggiuntivi per una mappatura efficace del movimento del testo. Il modulo di movimento per la modellazione temporale e la stima dell’intensità trasforma le istruzioni testuali in video, implementando varie azioni e movimenti della telecamera.
I ricercatori affermano che l’integrazione del modello ‘SD-XL’, una soluzione con risoluzione più elevata e funzionalità avanzate, potrebbe migliorare notevolmente le prestazioni complessive del sistema. Questo implica che una descrizione accurata della velocità di movimento e la dimensione del testo possono elevare la qualità dell’animazione video. L’uso di una rete a super risoluzione come post-elaborazione può inoltre affinare la fluidità e la risoluzione del video prodotto.
I risultati e le fonti della ricerca sono stati condivisi tramite GitHub, e i ricercatori prevedono ulteriori miglioramenti nel processo di formazione e nell’ottimizzazione del modulo di stima dell’intensità del movimento.
Nel frattempo, sta emergendo una tendenza nell’uso dell’intelligenza artificiale generativa per creare brevi video a partire da immagini fisse o fotografie, con aziende come Stability, Meta, e Pica Labs, nonché altri gruppi di ricerca di Alibaba, che hanno recentemente presentato tecnologie correlate.
Gli esperti prevedono che entro il 2024, i film realizzati con l’intelligenza artificiale generativa diventeranno una tendenza mainstream grazie a questa tecnologia, promettendo una nuova era nell’animazione e nella produzione video.