MiniMax ha presentato H3, un modello multimodale generalista per la generazione e la modifica di video. Il sistema elabora nello stesso contesto testo, immagini, filmati e audio, permettendo di combinare materiali differenti all’interno di un’unica richiesta. Può produrre video della durata compresa tra 4 e 15 secondi, con risoluzione 768p o 2K e audio stereo generato nativamente insieme alle immagini.
A differenza dei sistemi che utilizzano modelli separati per text-to-video, image-to-video, trasferimento del movimento, riferimenti stilistici ed editing, H3 riunisce queste operazioni in una sola architettura. L’utente può descrivere in linguaggio naturale la relazione tra i diversi materiali forniti, indicando per esempio di utilizzare il movimento della telecamera di un video, il personaggio presente in un’immagine e la voce contenuta in una registrazione audio.
Il modello supporta la generazione da solo testo, l’animazione di un’immagine iniziale, la definizione del primo e dell’ultimo fotogramma e la creazione basata su riferimenti. Le immagini possono essere impiegate per conservare l’identità di un personaggio, un prodotto, uno stile o un ambiente, mentre i video possono fornire movimenti, inquadrature, ritmo di montaggio e dinamiche della scena. I riferimenti audio possono guidare voce, musica ed effetti sonori, purché siano accompagnati da almeno un’immagine o da un filmato.
Ogni richiesta può includere fino a nove immagini, tre video e tre file audio, per un massimo complessivo di dodici risorse. I video di riferimento devono avere una durata compresa tra 2 e 15 secondi e non possono superare complessivamente i 15 secondi; lo stesso limite temporale si applica ai file audio. Il prompt può contenere fino a 7.000 caratteri.
H3 può anche modificare un video esistente o trasferire il movimento da una sequenza a un’altra. Il modello è stato sviluppato per seguire istruzioni complesse, riprodurre testi e marchi all’interno delle scene e mantenere più coerenti soggetti, movimenti e componenti sonore. MiniMax indica tra gli impieghi previsti la pubblicità, l’e-commerce, il branding, la progettazione di prodotti, le interfacce digitali, i videogiochi, i titoli cinematografici e i poster animati.
L’architettura comprende Contextual Omni Representation, H3-VAE, H3-Omni Transformer e In-Context Regeneration. Il nuovo sistema di codifica comprime maggiormente i dati audiovisivi e aumenta di quattro volte la lunghezza effettiva delle sequenze elaborabili, riducendo i costi di addestramento e inferenza e rendendo possibile la generazione nativa in 2K.
MiniMax dichiara che il costo per secondo di un video in 2K è inferiore a un terzo di quello dei principali modelli concorrenti. Anche la generazione in 768p avrebbe un prezzo inferiore alla metà di quello richiesto mediamente dai sistemi rivali per filmati in 720p. H3 è stato inoltre progettato per funzionare con diversi acceleratori prodotti in Cina, oltre che con l’hardware normalmente utilizzato per l’intelligenza artificiale.
La generazione attraverso API avviene in modalità asincrona. Il servizio riceve la richiesta e restituisce un identificativo dell’attività, che viene utilizzato per verificarne lo stato e recuperare successivamente il collegamento al video completato. MiniMax ha annunciato anche la pubblicazione dei pesi del modello, soggetta alle normative applicabili, per consentire agli sviluppatori di scaricarlo, personalizzarlo e adattarlo a differenti infrastrutture hardware.