Luci, macchina fotografica, intelligenza artificiale: la tecnologia dietro i tuoi film Pixar preferiti
“Toy Story” di Pixar è stato il primo lungometraggio animato al computer uscito nel 1995. Secondo una copertura esclusiva di Insider , per rendere “Toy Story”, gli animatori avevano 117 computer in funzione 24 ore al giorno. Il rendering di ciascun fotogramma può richiedere da 45 minuti a 30 ore, a seconda della complessità. C’erano un totale di 114.240 fotogrammi da renderizzare. Durante il film, ci sono oltre 77 minuti di animazione distribuiti su 1.561 riprese. Hanno dovuto inventare un nuovo software, chiamato Renderman, per gestire tutto questo filmato.
Venticinque anni dopo, Pixar continua a utilizzare la nuova tecnologia, spostando i pali della porta e stabilendo nuovi parametri di riferimento. Attualmente utilizza uno dei modelli di deep learning più popolari, Generative Adversarial Networks ( GAN ) per generare immagini ad altissima risoluzione in grado di soddisfare le esigenze dell’esperienza di visione di film 8K. Le più recenti tecniche di apprendimento automatico utilizzate su Toy Story 4 hanno ridotto i tempi di rendering finali del 15-50% in casi difficili.
Apprendimento profondo per risoluzione eccellente
Per sfruttare i vantaggi del deep learning per la produzione di film, i ricercatori di Pixar hanno implementato i GAN. L’obiettivo qui è quello di creare immagini ad alta risoluzione, che è un processo costoso in senso tradizionale. Il team di Pixar, in questo lavoro , ha esplorato i GAN come alternativa alle tecniche di upscaling convenzionali.
Recentemente, gli algoritmi di visione artificiale all’avanguardia come le reti neurali convoluzionali profonde hanno dimostrato la loro capacità di ricostruire immagini di alta qualità imparando la mappatura a bassa risoluzione (LR) ad alta risoluzione (HR) da un elevato volume di dati. L’introduzione dei GAN e le funzioni di perdita percettiva nel lavoro seminale SRGAN ha permesso di produrre immagini con dettagli e nitidezza indistinguibili dalla verità di base.
“L’obiettivo del nostro lavoro alla Pixar è di mettere in produzione i GAN per l’upscaling”.
I dati di allenamento per gli esperimenti con GAN vengono raccolti riproducendo coppie 1K-2K di immagini di produzione utilizzando RenderMan, con scatti campionati casualmente da Coco, Incredibles 2, Toy Story 4 e altri film Pixar. Le tecniche di aumento dei dati implementate in questo lavoro spiegano anche la correzione del colore nelle immagini generate. Qualsiasi deviazione del colore dalla verità del terreno viene immediatamente verificata e corretta usando un’immagine LR del set di addestramento per mantenere la coerenza nel film. Scopri come i film Pixar sono cambiati drasticamente, grazie alle tecniche automatiche di potatura leggera. Controllare questo .
L’allenamento della formazione consiste in un ambiente di sviluppo PyTorch , un’istanza Linux con due GPU NVIDIA Quadro P6000 da 24 GB . Pixar ha anche un renderer per sintetizzare le coppie di immagini, scene di alta qualità con diversi shader, geometria e condizioni di illuminazione, e un data center ottimizzato per il rendering su una scala eccezionale.
I ricercatori affermano di aver addestrato e distribuito un modello di super risoluzione di qualità di produzione che produce costantemente immagini ingrandite di alta qualità e prive di artefatti anche su scene con profondità di campo o motion blur. Inoltre, il documento afferma che il loro ultimo modello addestrato mostra promesse verso una pipeline in cui è possibile eseguire il rendering a 1K e passare a 2K, il che risparmierebbe il 50-75% dell’impronta della farm di rendering dello studio se utilizzato per tutti i rendering intermedi.
Parlando alla conferenza VB Transform recentemente conclusa , uno dei ricercatori, Vaibhav Vavilala, direttore tecnico della Pixar, ha affermato che in genere occorrono almeno 50 ore di CPU per eseguire il rendering di un frame con una risoluzione 2K. Ora estrapolarlo a 24 fotogrammi al secondo per un film di un’ora.
Con 4K e 8K sempre più popolari, il rendering diventa più volte più lungo e noioso. Sebbene i computer di oggi siano progettati per gestire processi ad alta intensità computazionale, esiste ancora un compromesso in quanto i vantaggi computazionali sono annullati dalla crescente domanda di scatti più creativi e super realistici. Quindi, alla fine, il rendering è ancora un processo lungo e costoso e c’è un ampio spazio per l’innovazione.
