Google svela Phorhum; stato dell’arte nella ricostruzione umana 3D fotorealistica
Phorhum è il nuovo SOTA nella ricostruzione umana 3D fotorealistica da immagini RGB monoculari di esseri umani che indossano abiti.
Google ha presentato Phorhum , una ricostruzione umana 3D fotorealistica che può aiutare notevolmente lo shopping di abbigliamento online. Phorhum è un metodo per ricostruire fotorealisticamente la geometria 3D e l’aspetto di una persona vestita come fotografata in una singola immagine RGB. La scansione 3D prodotta del soggetto ricorda accuratamente le parti del corpo visibili e include una geometria plausibile e l’aspetto delle parti non visibili. Le scansioni 3D di persone che indossano abiti hanno molti casi d’uso e sono attualmente molto richieste.
Nel documento ‘Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing’, che parla di Phorhum, gli autori affermano: “La costruzione del nostro modello è motivata dall’ampiezza delle applicazioni 3D trasformative e immersive che diventerebbero possibili per l’abbigliamento virtuale. -on, visualizzazione immersiva di fotografie, AR personale e VR per una migliore comunicazione, effetti speciali, interazione uomo-computer o giochi, tra gli altri”.
Inoltre, il documento conclude: “Il nostro metodo funziona bene per un’ampia variazione di abiti e per diverse forme del corpo e tonalità della pelle, e le ricostruzioni catturano la maggior parte dei dettagli presenti nell’immagine di input”.
Phorhum è una metodologia di rete neurale profonda addestrabile end-to-end per la ricostruzione umana 3D fotorealistica che funziona solo con un’immagine RGB monoculare. Il metodo pixel-aligned stima una geometria 3D dettagliata e il colore della superficie non ombreggiato e l’illuminazione della scena. La sola supervisione 3D non è sufficiente per la ricostruzione del colore ad alta fedeltà, quindi Phorhum ha introdotto perdite di rendering basate su patch che consentono una ricostruzione affidabile del colore sulle parti visibili dell’uomo e una stima del colore dettagliata e plausibile per le parti non visibili.
