ByteDance sta sviluppando un nuovo world model capace di generare ambienti virtuali in tempo reale e di modificarli in risposta ai movimenti e alla voce dell’utente. Il progetto sarebbe seguito direttamente dal fondatore Zhang Yiming, che starebbe coordinando le capacità di sviluppo di più divisioni interne e concentrando sul nuovo modello risorse di calcolo e personale specializzato nell’intelligenza artificiale. Il lancio sarebbe previsto per il mese prossimo, anche se la tempistica potrebbe ancora cambiare, e il sistema verrebbe sviluppato a partire da Seedance, la famiglia di modelli di generazione video già utilizzata da ByteDance.
Il nuovo modello viene descritto come un sistema di generazione di video spaziali in tempo reale nel quale gli input dell’utente, sotto forma di voce o movimento, producono variazioni immediate nell’ambiente virtuale. L’obiettivo tecnico indicato è arrivare alla generazione di video spaziali ad alta qualità a circa 20 fotogrammi al secondo con una latenza nell’ordine di 0,05 secondi, riducendo il più possibile il ritardo tra l’azione compiuta dall’utente e la risposta dell’ambiente. Questa caratteristica è centrale per applicazioni nelle quali l’interazione deve apparire continua e naturale, come live streaming, contenuti short-form, esperienze immersive e videogiochi interattivi.
L’impostazione va oltre la generazione di una normale sequenza video, perché il modello dovrebbe costruire spazi tridimensionali nei quali l’utente può entrare e interagire direttamente. In questo tipo di architettura il sistema deve mantenere una rappresentazione coerente dell’ambiente, degli oggetti e dei movimenti mentre la scena evolve, producendo nuovi contenuti sulla base delle azioni dell’utente. ByteDance punta quindi a trasferire le capacità già sviluppate con Seedance verso una forma di generazione dinamica dello spazio, nella quale il contenuto non viene prodotto una volta sola ma continua a essere aggiornato durante l’interazione.
Tra le possibili applicazioni vengono citati anche robotica e guida autonoma, due ambiti nei quali i world model possono essere utilizzati per simulare ambienti fisici e prevedere l’evoluzione di oggetti, movimenti e relazioni spaziali. Un modello capace di rappresentare e modificare un ambiente virtuale in funzione delle azioni potrebbe infatti essere impiegato per creare scenari di addestramento destinati a robot o sistemi autonomi, consentendo di riprodurre condizioni e situazioni differenti senza doverle necessariamente generare nel mondo reale.
Il progetto colloca ByteDance nello stesso segmento nel quale Google sta sviluppando Genie, il proprio approccio alla generazione di mondi virtuali interattivi. Nel caso di ByteDance, però, il punto di partenza è rappresentato soprattutto dalle tecnologie di generazione video, con l’obiettivo di ottenere contenuti spaziali capaci di reagire in tempo reale. La società potrebbe inoltre collegare il nuovo modello alle proprie attività nei contenuti digitali, nel cloud e nella realtà estesa, creando un’infrastruttura comune tra piattaforme video, sistemi generativi e dispositivi immersivi.
Un possibile ambito di integrazione riguarda Pico, la controllata di ByteDance specializzata in visori per la realtà virtuale. Il world model potrebbe essere utilizzato per fornire attraverso questi dispositivi ambienti virtuali che reagiscono alla voce e ai movimenti dell’utente, permettendo di creare esperienze generate dinamicamente anziché basate esclusivamente su scenari progettati in anticipo. Una combinazione di questo tipo porterebbe ByteDance a confrontarsi più direttamente con piattaforme di spatial computing come Meta Quest e Apple Vision Pro, pur con un’impostazione maggiormente centrata sulla generazione AI dei contenuti.
ByteDance starebbe inoltre valutando di eseguire nel cloud una parte significativa dei calcoli necessari alla generazione dei video spaziali. Spostare l’elaborazione verso l’infrastruttura cloud consentirebbe di ridurre i requisiti hardware dei visori VR e XR, rendendo possibile l’accesso a contenuti spaziali complessi anche attraverso dispositivi meno potenti e potenzialmente meno costosi. In questa configurazione il dispositivo locale avrebbe principalmente il compito di acquisire input e visualizzare il risultato, mentre la generazione dell’ambiente sarebbe affidata ai sistemi remoti.
Il progetto riunisce quindi più aree sulle quali ByteDance sta già investendo, dalla generazione video con Seedance alle infrastrutture cloud, fino alla realtà virtuale di Pico. Se il modello arriverà sul mercato con gli obiettivi attualmente indicati, la componente centrale non sarà soltanto la qualità dell’immagine generata, ma soprattutto la capacità di produrre continuamente uno spazio coerente con una latenza sufficientemente bassa da permettere un’interazione diretta tra utente e ambiente virtuale.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)