L’approccio prevede una rete di post-correzione ottimizzata da un framework di apprendimento automatico auto-supervisionato per migliorare la qualità delle immagini sconosciute
La computer grafica di alta qualità, con la sua presenza onnipresente nei giochi, nelle illustrazioni e nella visualizzazione, è considerata lo stato dell’arte nella tecnologia di visualizzazione visiva. Il metodo utilizzato per il rendering di immagini realistiche e di alta qualità è noto come “traccia del percorso”, che utilizza un approccio di denoising Monte Carlo (MC) basato sull’apprendimento automatico supervisionato. In questo framework di apprendimento, il modello di apprendimento automatico viene prima pre-addestrato con coppie di immagini rumorose e pulite e quindi applicato all’immagine rumorosa effettiva da renderizzare (immagine di prova). Sebbene considerato l’approccio migliore in termini di qualità dell’immagine, questo metodo potrebbe non funzionare bene se l’immagine di prova è notevolmente diversa dalle immagini utilizzate per l’allenamento.
Per affrontare questo problema, un gruppo di ricercatori, tra cui Ph.D. lo studente Jonghee Back e il professore associato Bochang Moon del Gwangju Institute of Science and Technology in Corea, il ricercatore Binh-Son Hua del VinAI Research in Vietnam e il professore associato Toshiya Hachisuka dell’Università di Waterloo in Canada, hanno proposto, in un nuovo studio, un nuovo metodo di denoising MC che non si basa su un riferimento. Il loro studio è stato reso disponibile online il 24 luglio 2022 e pubblicato in ACM SIGGRAPH 2022 Conference Proceedings .
“I metodi esistenti non solo falliscono quando i set di dati di test e training sono molto diversi, ma richiedono anche molto tempo per preparare il set di dati di training per il pre-training della rete. Ciò che serve è una rete neurale che può essere addestrata solo con immagini di prova al volo senza la necessità di un pre-allenamento”, afferma il dottor Moon, spiegando la motivazione alla base del loro studio.
A tal fine, il team ha proposto un nuovo approccio di post-correzione per un’immagine denoised che comprendeva un framework di apprendimento automatico auto-supervisionato e una rete di post-correzione, fondamentalmente una rete neurale convoluzionale, per l’elaborazione delle immagini. La rete post-correzione non dipendeva da una rete pre-addestrata e poteva essere ottimizzata utilizzando il concetto di apprendimento autocontrollato senza fare affidamento su un riferimento. Inoltre, il modello autocontrollato ha integrato e potenziato i modelli supervisionati convenzionali per il denoising.
Per testare l’efficacia della rete proposta, il team ha applicato il proprio approccio ai metodi di denoising all’avanguardia esistenti. Il modello proposto ha dimostrato un triplice miglioramento della qualità dell’immagine renderizzata rispetto all’immagine di input preservando i dettagli più fini. Inoltre, l’intero processo di addestramento al volo e l’inferenza finale ha richiesto solo 12 secondi!
“Il nostro approccio è il primo che non si basa sulla formazione preliminare utilizzando un set di dati esterno. Questo, in effetti, ridurrà i tempi di produzione e migliorerà la qualità dei contenuti offline basati sul rendering come animazioni e film”, osserva il Dr. Moon, speculando sulle potenziali applicazioni del loro lavoro.
In effetti, potrebbe non passare molto tempo prima che questa tecnica trovi impiego nel rendering grafico di alta qualità nei videogiochi, nella realtà aumentata, nella realtà virtuale e nel metaverso!
Informazioni sul Gwangju Institute of Science and Technology (GIST)
Il Gwangju Institute of Science and Technology (GIST) è un’università orientata alla ricerca situata a Gwangju, in Corea del Sud. Fondata nel 1993, GIST è diventata una delle scuole più prestigiose della Corea del Sud. L’università mira a creare un forte ambiente di ricerca per stimolare i progressi nella scienza e nella tecnologia e per promuovere la collaborazione tra programmi di ricerca internazionali e nazionali. Con il suo motto “Un orgoglioso creatore della scienza e della tecnologia del futuro”, GIST ha costantemente ricevuto una delle classifiche universitarie più alte in Corea.
Riguardo agli Autori
Jonghee Back ha un dottorato di ricerca . studente presso il Computer Graphics Lab della School of Integrated Technology del GIST. I suoi interessi di ricerca sono nel campo dell’intelligenza artificiale, con particolare attenzione al rendering basato sulla fisica.
Binh-Son Hua è ricercatore presso VinAI Research, Vietnam. Ha conseguito il dottorato di ricerca. dalla National University of Singapore nel 2015. I suoi interessi di ricerca risiedono nella computer grafica e nella visione artificiale, concentrandosi sulla sintesi di immagini basata sulla fisica e sul deep learning 3D.
Toshiya Hachisuka è attualmente professore associato presso la David R. Cheriton School of Computer Science, l’Università di Waterloo in Canada. Ha conseguito il dottorato di ricerca. in Informatica presso l’Università della California, San Diego nel 2011. I suoi interessi di ricerca comprendono il rendering di computer grafica, il trasporto leggero, i metodi Monte Carlo e il calcolo numerico.
Bochang Moon è professore associato presso la School of Integrated Technology del GIST, dove dirige il Computer Graphics Lab. Ha conseguito il dottorato di ricerca. in Informatica presso il Korea Advanced Institute of Science & Technology nel 2014. I suoi interessi di ricerca includono il rendering fotorealistico, il ray-tracing Monte Carlo, il rendering utilizzando l’intelligenza artificiale e la realtà aumentata e virtuale.
