Un nuovo framework chiamato PhysDreamer, sviluppato da ricercatori del MIT, della Stanford University, della Columbia University e della Cornell University, consente agli oggetti 3D statici di interagire in modo dinamico e realistico all’interno di un ambiente virtuale, basandosi sulle loro proprietà fisiche come la rigidità.
PhysDreamer utilizza modelli di generazione video per prevedere le risposte degli oggetti a diverse interazioni fisiche, come spinte o manipolazioni. Questo permette la sintesi di risposte realistiche degli oggetti a nuove interazioni, come forze esterne o manipolazioni da parte di agenti.
Gli autori dell’articolo sottolineano che PhysDreamer distilla i dati a priori per incorporare accuratamente le proprietà materiali degli oggetti nelle previsioni, migliorando significativamente rispetto alle tecniche precedenti.
Negli esperimenti, PhysDreamer ha dimostrato la sua capacità di generare movimenti realistici di vari oggetti elastici, superando significativamente le prestazioni dei metodi esistenti nelle simulazioni virtuali.
In confronto, Sora di OpenAI si concentra sulla generazione di video realistici senza modellare esplicitamente la fisica. Anche se può generare video ad alta fedeltà, non mira a simulare interazioni fisiche o stimare proprietà materiali come fa PhysDreamer.
Yann LeCun di Meta ha sottolineato che, sebbene tecnologie come Sora siano rivoluzionarie per la generazione di video, potrebbero non essere ottimali per comprendere rappresentazioni video profonde o simulare la fisica del mondo reale.
PhysDreamer offre nuove possibilità per applicazioni in realtà virtuale, giochi e simulazioni, promettendo esperienze utente più realistiche e interattive.