PicsArt, una potenza di editor di foto e video per dispositivi mobili, ha introdotto un nuovo modello di intelligenza artificiale (AI) per la generazione di video.
Petapixel ha riferito che il team di ricerca sull’intelligenza artificiale di PicsArt ha sviluppato “PAIR”, un modello di intelligenza artificiale per la generazione di video in grado di creare nuovi video con solo suggerimenti di testo, e lo ha rilasciato come demo open source su GitHub e Hugging Face.
“Gli attuali approcci alla generazione di text-to-video sono computazionalmente intensivi e richiedono grandi set di dati video”, ha twittato il team di ricerca di PicsArt. “Invece, abbiamo utilizzato un nuovo approccio chiamato generazione di text-to-video ‘zero-shot’.”, ha spiegato. .
Zero-shot è un modo per un modello di intelligenza artificiale di eseguire compiti non appresi nel processo di apprendimento. Non è un metodo di apprendimento supervisionato per aumentare la “prestazione”, ma l’apprendimento non supervisionato e l’apprendimento auto-supervisionato per aumentare la “comprensione ed espressività” di se stesso.
Il motivo per cui il team di ricerca ha introdotto questo metodo è che l’attuale IA di generazione testo-video è considerata un problema che manca di realismo, ad esempio il soggetto generato appare leggermente diverso da fotogramma a fotogramma e lo sfondo è incoerente.
Pertanto, si dice che abbia creato frame con una tecnologia chiamata “motion dynamic” per mantenere la coerenza e, di conseguenza, ha reso possibile la creazione di video coerenti e di alta qualità.
“Gli esperimenti hanno dimostrato che il nostro metodo funziona in modo comparativo, o talvolta migliore, rispetto ai metodi emergenti, nonostante non sia stato addestrato su dati video aggiuntivi”, hanno affermato i ricercatori. È anche efficace per passare a uno stile specifico. PicsArt prevede di lanciare il prodotto nelle prossime settimane.
Anche l’IA che genera video è un campo sempre più competitivo. Alla fine dell’anno, Google ha introdotto “Imagine” e “Penaki” e Meta ha introdotto “Maker Video”. Di recente, la passerella di avvio ha svelato “Zen-2”, una funzione multimodale che trasforma i video non nati in stili diversi.
PicsArt è uno sviluppatore dell’app mobile “AI Photo & Video Editor” con 150 milioni di utenti attivi mensili (MAU) in tutto il mondo. Questa app è stata così popolare che è stata classificata tra le prime 20 app al mondo in termini di download cumulativi negli ultimi tre anni.