Tencent ha sviluppato insieme alla National University of Singapore e alla Hong Kong Polytechnic University H3-World, un modello di intelligenza artificiale progettato per trasformare la generazione video in un ambiente interattivo controllabile direttamente dall’utente. Il sistema consente di modificare in sequenza il movimento di un personaggio e della telecamera attraverso normali comandi da tastiera, utilizzando il modello generativo non soltanto per produrre un filmato a partire da un prompt, ma per costruire una scena che reagisce alle azioni impartite durante la generazione. H3-World appartiene quindi alla categoria degli action-controllable world model e sfrutta come base H3 di MiniMax, un modello per la generazione video da circa 33 miliardi di parametri.
L’interazione è stata progettata secondo una logica molto vicina a quella dei videogiochi. I tasti W, A, S e D indicano rispettivamente gli spostamenti del personaggio in avanti, indietro e lateralmente, mentre I, J, K e L consentono di controllare lo spostamento verticale e la rotazione della telecamera. Il tasto F può invece essere utilizzato per impartire movimenti rapidi alla camera. Questi input non vengono trasferiti al generatore video sotto forma di segnali di controllo tradizionali: H3-World li converte in brevi istruzioni in lingua inglese, che vengono successivamente integrate nel processo di generazione del filmato.
La scelta tecnica distingue H3-World da numerosi world model precedenti. Per rendere controllabili personaggi e telecamere, molti sistemi utilizzano infatti moduli dedicati alle azioni oppure reti di controllo supplementari, inserendo le informazioni relative ai comandi direttamente nelle feature del modello video o aggiungendo specifici action bias. Tencent e gli altri gruppi di ricerca coinvolti hanno invece sfruttato una capacità già presente nel modello H3: la possibilità di comprendere attraverso il linguaggio naturale indicazioni relative al movimento di un soggetto o della telecamera. Il controllo interattivo viene quindi ottenuto traducendo le azioni della tastiera in istruzioni testuali interpretabili dal modello, senza dover costruire da zero un nuovo sistema destinato esclusivamente alla gestione dei movimenti.
Il funzionamento di H3-World è organizzato attraverso un Action Stream, nel quale lo stato dei tasti viene convertito, frame dopo frame, in brevi comandi testuali associati ai corrispondenti segmenti temporali del video. Ogni comando viene collegato ai futuri latent frame, cioè alle rappresentazioni latenti utilizzate dal modello per costruire i fotogrammi successivi. All’interno dei blocchi transformer di H3 vengono inoltre applicati parametri LoRA e una Directional Attention Mask, una maschera di attenzione direzionale che permette di concentrare l’effetto di una determinata istruzione sulla porzione temporale alla quale essa si riferisce. In questo modo il sistema non applica un unico movimento indistintamente all’intero video, ma può associare sequenze di comandi differenti a intervalli temporali specifici, consentendo al personaggio e alla telecamera di modificare progressivamente comportamento e direzione.
Anche l’addestramento aggiuntivo richiesto per trasformare H3 in un modello interattivo è relativamente contenuto rispetto alle dimensioni del modello di partenza. Sono stati utilizzati circa 8.000 video di gameplay provenienti dal dataset ABot-World-Explorer-500h. Attraverso LoRA sono stati addestrati circa 65,6 milioni di parametri, equivalenti soltanto allo 0,199% dei parametri complessivi di MiniMax H3. L’obiettivo è mantenere intatta la maggior parte delle capacità già acquisite dal generatore video e intervenire soltanto su una piccola quantità di parametri necessaria a collegare correttamente gli input temporali alle trasformazioni visive prodotte dal modello.
H3-World può inoltre gestire combinazioni di movimento e ambienti visivi che non erano presenti direttamente nei dati utilizzati durante l’addestramento. Partendo dallo stesso fotogramma iniziale, sequenze differenti di input producono percorsi e movimenti diversi, mentre più azioni possono essere concatenate nel tempo per ottenere un controllo prolungato della scena. La capacità riguarda contemporaneamente il movimento del personaggio e quello della telecamera, permettendo quindi di modificare non soltanto ciò che accade nell’ambiente generato, ma anche il punto di osservazione utilizzato per rappresentarlo.
Nella configurazione standard il sistema riceve un’immagine iniziale, una descrizione della scena e una sequenza di input da tastiera, producendo un filmato con risoluzione di 832 × 480 pixel e una durata di circa 5,2 secondi. H3-World è stato distribuito anche tramite Hugging Face sotto forma di LoRA rank-32 con licenza Apache 2.0. I pesi LoRA, tuttavia, non costituiscono un modello autonomo: per eseguire il sistema sono necessari anche il modello base MiniMax H3, che occupa circa 135 GB, il codice di H3-World e una versione modificata della pipeline utilizzata per la generazione video.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)