Runway ha presentato GWM Worlds 2, un nuovo modello progettato per generare mondi virtuali interattivi che possono continuare a evolversi senza essere vincolati alla durata prefissata tipica dei tradizionali modelli di generazione video. Il sistema produce in modo continuo video a 720p e 24 fotogrammi al secondo insieme ad audio a 48.000 Hz, reagendo in tempo reale agli input dell’utente. A differenza di un normale modello text-to-video, che riceve un prompt e restituisce una sequenza già definita, GWM Worlds 2 mantiene aperta la generazione e consente di modificare il mondo mentre questo continua a essere prodotto.
Il modello rappresenta l’evoluzione di GWM Worlds, presentato nel dicembre precedente come piattaforma di ricerca sulla generazione video in tempo reale e sulla coerenza spaziale durante sequenze più lunghe. Con GWM Worlds 2 l’obiettivo viene esteso dalla semplice simulazione di un ambiente alla costruzione di mondi direttamente manipolabili dall’utente. All’inizio della sessione è possibile definire elementi come l’ambiente, i personaggi, lo stile visivo, le regole fisiche e l’atmosfera generale; successivamente l’utente può intervenire su personaggi, oggetti, telecamera e condizioni ambientali tramite comandi testuali. È possibile, per esempio, ordinare a un personaggio di agitare una spada o parlare, far riempire d’acqua una stanza oppure provocare una tempesta di polvere, introducendo gli eventi mentre la scena è già in esecuzione.
Uno degli elementi tecnici centrali è WorldPrompt, il sistema utilizzato per rappresentare lo stato del mondo. La struttura separa le informazioni destinate a rimanere stabili nel tempo da quelle che descrivono eventi dinamici. Il Persistent World Context contiene la struttura dell’ambiente, i materiali, l’illuminazione, i suoni ambientali, le proprietà dei personaggi, le regole fisiche come gravità e collisioni, il punto di vista della telecamera e il primo fotogramma utilizzato come riferimento visivo iniziale. L’Event Stream descrive invece ciò che cambia durante la generazione, includendo movimenti, gesti, interazioni tra oggetti, voce e altri suoni, con informazioni relative all’inizio e alla fine di ciascun evento. Più eventi possono svolgersi contemporaneamente, mentre posizione e rotazione della telecamera possono essere fornite frame per frame.
Questa separazione permette al sistema di continuare la generazione a partire dallo stato già costruito ogni volta che riceve un nuovo input. Il mondo non viene quindi ricreato da zero a ogni comando e non deve seguire uno script rigido o una sequenza video completamente prestabilita. GWM Worlds 2 mantiene invece una continuità tra ciò che è già stato generato e le nuove azioni, consentendo di prolungare la sessione senza una durata massima determinata in anticipo.
Dal punto di vista dell’architettura, GWM Worlds 2 deriva da un modello fondamentale per la generazione audiovisiva, successivamente sottoposto a fine-tuning e trasformato in un sistema autoregressivo in tempo reale. Durante la generazione prende in considerazione contemporaneamente il contesto di base del mondo, il frame corrente, i nuovi comandi testuali o relativi alla telecamera e i fotogrammi prodotti in precedenza. Anche i decoder video e audio utilizzano meccanismi di caching per ridurre il tempo necessario alla produzione dei nuovi contenuti e mantenere una velocità compatibile con l’interazione in tempo reale.
Runway distingue tre principali modalità di utilizzo. Nella generazione anticipata, gli eventi vengono definiti prima dell’avvio e il sistema produce successivamente l’intera sequenza video e audio, una modalità destinata soprattutto a produzioni cinematografiche e pubblicitarie. Nel funzionamento a turni, il video procede fino a un punto decisionale e l’utente può inserire una nuova azione per determinare la scena successiva, una struttura adatta a film interattivi e visual novel. Nella modalità completamente real-time, invece, il contenuto continua a essere generato mentre gli input vengono immediatamente integrati nel processo, rendendo l’approccio utilizzabile per videogiochi e altre esperienze interattive.
Il controllo può avvenire anche tramite tastiera e mouse, associando comandi testuali ricorrenti a specifici input fisici. Un tasto come W può essere collegato all’azione che ordina al personaggio di muoversi in avanti, mentre un clic del mouse può corrispondere, per esempio, al lancio di una palla. Questo sistema permette di trasformare azioni descritte linguisticamente in controlli simili a quelli di un videogioco tradizionale. Il modello può inoltre essere esteso a esperienze multiplayer, nelle quali utenti differenti controllano personaggi diversi all’interno dello stesso ambiente generato.
GWM Worlds 2 è stato sperimentato anche come ambiente per agenti AI. In una prova, un agente è stato inserito in un mondo virtuale contenente un robot umanoide e due bandiere e ha ricevuto il compito di raggiungere una bandiera specifica. L’esperimento è stato completato correttamente, mostrando la possibilità di utilizzare il modello non soltanto per la generazione di contenuti, ma anche come ambiente simulato per la valutazione e l’addestramento di agenti che devono percepire un contesto, prendere decisioni e agire al suo interno.
Il sistema presenta comunque diversi limiti legati all’attuale fase di ricerca. La priorità assegnata alla risposta in tempo reale può ridurre la qualità visiva e, quando la telecamera compie movimenti particolarmente rapidi o complessi, possono deteriorarsi dettagli, texture e coerenza geometrica della scena. Anche la memoria a lungo termine del mondo non è ancora completa e il modello non supporta riferimenti visivi aggiuntivi oltre al primo frame o a eventuali sequenze video e audio fornite in fase iniziale.
Un’ulteriore difficoltà riguarda l’uso completamente libero di comandi testuali durante esperienze che richiedono tempi di reazione molto brevi. La digitazione manuale può risultare troppo lenta per applicazioni simili a videogiochi in tempo reale e potrebbe quindi essere necessario affiancare al modello un ulteriore sistema di controllo capace di trasformare rapidamente gli input dell’utente in azioni compatibili con la generazione. GWM Worlds 2 resta al momento un modello di ricerca, ma introduce un’impostazione nella quale la generazione audiovisiva non viene trattata come produzione di un file finito, bensì come costruzione continua di un ambiente che può essere modificato e controllato mentre viene generato.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)