Adobe ha recentemente presentato TransPixar, una tecnologia innovativa sviluppata in collaborazione con l’Università di Scienza e Tecnologia di Hong Kong (HKUST), destinata a rivoluzionare la creazione di effetti visivi (VFX) nel cinema, nei videogiochi e nei media interattivi.
TransPixar introduce la capacità di generare elementi trasparenti come fumo, riflessi ed effetti eterei che si integrano in modo naturale nelle scene, superando le limitazioni degli strumenti di intelligenza artificiale attuali, che generalmente producono solo immagini opache.
Yijun Li, leader del progetto presso Adobe Research, ha sottolineato l’importanza dei canali alfa nei VFX, poiché permettono di fondere senza soluzione di continuità elementi trasparenti nelle scene.
La sfida principale nella generazione di video RGBA, che includono canali alfa per la trasparenza, risiede nella scarsità di dataset adeguati e nella complessità di adattare i modelli esistenti.
Il team ha affrontato questa sfida estendendo modelli video AI preesistenti, introducendo nuovi token per la generazione del canale alfa e distinguendoli dai token RGB.
Hanno inoltre implementato un sistema di fine-tuning basato su LoRA per proiettare i token alfa nello spazio qkv, preservando al contempo la qualità RGB.
Le dimostrazioni di TransPixar evidenziano risultati notevoli, con la generazione di effetti diversificati a partire da semplici prompt testuali, come nuvole tempestose vorticosi e portali magici.
Questa tecnologia offre un notevole risparmio di tempo e risorse, riducendo la necessità di interventi manuali da parte degli artisti per creare effetti trasparenti convincenti.