NVIDIA ha pubblicato Cosmos3-Super 4Step, una nuova serie di modelli open-weight progettata per accelerare la generazione di immagini e video senza ridurre in modo significativo la qualità dei risultati. La serie comprende Cosmos3-Super-Text2Image-4Step, destinato alla creazione di immagini a partire da descrizioni testuali, e Cosmos3-Super-Image2Video-4Step, che trasforma una o più immagini in sequenze video coerenti. Entrambi derivano dal modello mondiale Cosmos3-Super da 64 miliardi di parametri e sono stati distribuiti attraverso Hugging Face con una licenza che ne consente l’impiego commerciale e non commerciale.
La modifica principale riguarda il numero di passaggi necessari durante l’inferenza. La versione originale del modello text-to-image utilizzava 50 passaggi di denoising, mentre quella image-to-video ne richiedeva 35. Con la distillazione, NVIDIA ha ridotto entrambi i processi a una sequenza fissa di quattro passaggi, eliminando anche la necessità della classifier-free guidance, una tecnica normalmente utilizzata per rafforzare la corrispondenza tra il prompt e il contenuto generato. Nel modello text-to-image tradizionale, la classifier-free guidance richiedeva due valutazioni della rete per ciascuno dei 50 passaggi, per un totale di 100 elaborazioni. Cosmos3-Super-Text2Image-4Step ne esegue soltanto quattro, con una riduzione teorica fino a 25 volte del numero di valutazioni del modello di diffusione necessarie per produrre una singola immagine. Questo valore non coincide necessariamente con un’accelerazione identica del tempo complessivo, poiché alcune operazioni fisse, come la codifica del testo, l’elaborazione del VAE, la comunicazione tra GPU e la codifica del risultato finale, non diminuiscono in proporzione al numero dei passaggi.
La distillazione è stata realizzata attraverso una variante della tecnica Distribution Matching Distillation, utilizzata per trasferire in un modello più rapido il comportamento appreso dalla versione completa. Il sistema distillato deve quindi riprodurre in quattro iterazioni un processo che il modello originario sviluppava attraverso decine di correzioni progressive. NVIDIA ha adottato una pianificazione di campionamento fissa, ottimizzata specificamente per mantenere la fedeltà visiva e la coerenza con gli input anche dopo la forte riduzione del calcolo.
I risultati pubblicati da Artificial Analysis indicano che Cosmos3-Super-Image2Video-4Step ha raggiunto il primo posto tra i modelli open-weight dedicati alla generazione video da immagini. Nella classifica complessiva, che comprende anche i modelli proprietari, si è posizionato al sedicesimo posto. La versione distillata ha ottenuto una valutazione superiore anche rispetto al precedente Cosmos3-Super-Image2Video da 35 passaggi, mostrando che la diminuzione delle iterazioni non ha comportato necessariamente una perdita di prestazioni nei test considerati. Cosmos3-Super-Text2Image-4Step si è collocato a sua volta tra i modelli open-weight più competitivi per la generazione di immagini. La valutazione riportata colloca il sistema nelle prime posizioni della relativa classifica e al venticinquesimo posto considerando anche le piattaforme chiuse. Il modello riceve una descrizione testuale e restituisce un’immagine ad alta fedeltà, supportando differenti risoluzioni e rapporti d’aspetto.
Le due versioni non sono state sviluppate soltanto per la produzione di contenuti grafici o audiovisivi. Cosmos3 appartiene alla categoria dei world foundation model, sistemi destinati a rappresentare e generare ambienti dinamici per le applicazioni di physical AI. NVIDIA punta a utilizzare questi modelli per costruire grandi quantità di dati sintetici con cui addestrare robot, veicoli autonomi e impianti industriali senza dover raccogliere ogni situazione direttamente nel mondo reale.
Cosmos3-Super-Image2Video-4Step può ricevere una o più immagini accompagnate facoltativamente da istruzioni testuali e generare una sequenza temporalmente coerente con il materiale fornito. Nella configurazione predefinita, il modello può produrre video con una risoluzione massima di 720p e una durata di circa otto secondi. A 24 fotogrammi al secondo, la sequenza comprende 189 frame, mentre il sistema supporta in generale durate comprese tra cinque e 400 fotogrammi. La possibilità di partire da un’immagine consente di mantenere l’aspetto degli oggetti, delle persone o dell’ambiente iniziale mentre vengono simulate evoluzioni temporali e movimenti. Nei flussi di lavoro per la physical AI, una singola scena può così essere trasformata in numerose varianti che rappresentano differenti traiettorie, condizioni ambientali o conseguenze delle azioni. Questi video possono essere impiegati per ampliare i dati destinati alla percezione, alla previsione degli eventi e all’apprendimento delle politiche operative. La generazione sintetica è particolarmente utile per gli eventi rari o pericolosi, difficili da registrare in quantità sufficiente attraverso telecamere e sensori reali. Un sistema per la guida autonoma può essere addestrato su variazioni di illuminazione, condizioni meteorologiche, ostacoli improvvisi e comportamenti anomali degli altri veicoli, mentre un robot industriale può osservare differenti configurazioni di oggetti, movimenti e possibili errori senza dover ripetere fisicamente ogni scenario.
Cosmos3 utilizza un’architettura Mixture-of-Transformers composta da due strutture complementari. Un trasformatore autoregressivo gestisce la generazione dei token discreti, mentre un diffusion transformer produce modalità continue come immagini, video, audio e azioni mediante denoising iterativo. Questo impianto consente alla stessa famiglia di modelli di combinare testo, immagini, filmati, segnali audio e traiettorie operative all’interno di un’unica rappresentazione multimodale del mondo fisico. I modelli Cosmos3-Super da 64 miliardi di parametri richiedono risorse hardware elevate. NVIDIA indica l’impiego di un nodo con quattro-otto GPU H100 o H200, oppure di una singola GPU B200 dotata di memoria sufficiente. Le schede di dimensioni inferiori non sono generalmente in grado di contenere l’intero modello, anche se sono previste configurazioni distribuite e funzioni di offload che consentono di suddividere l’elaborazione tra più dispositivi, con possibili penalizzazioni sulle prestazioni. L’esecuzione è supportata attraverso PyTorch, Hugging Face Diffusers e vLLM-Omni. Quest’ultimo permette di distribuire il modello anche come endpoint compatibile con il formato delle API OpenAI, facilitandone l’integrazione all’interno di applicazioni e pipeline già esistenti. NVIDIA ha verificato ufficialmente il funzionamento in precisione BF16 su sistemi Linux e su GPU appartenenti alle architetture Ampere, Hopper e Blackwell.
La forte riduzione dei passaggi affronta uno dei principali limiti dei modelli generativi di grandi dimensioni dedicati a immagini e video. A differenza dei modelli linguistici, che producono progressivamente nuovi token, i sistemi di diffusione costruiscono il risultato attraverso numerose iterazioni di rimozione del rumore. Diminuire queste iterazioni significa ridurre la quantità di calcolo, la latenza e il costo necessario per generare ciascun contenuto, rendendo più praticabile la creazione su larga scala dei dati sintetici richiesti dalle applicazioni robotiche e industriali. Con Cosmos3-Super 4Step, NVIDIA mantiene quindi la struttura da 64 miliardi di parametri del modello originale, ma comprime il processo generativo in quattro passaggi. Il risultato è una serie open-weight utilizzabile commercialmente, capace di produrre immagini e brevi video fino a 720p e pensata soprattutto per accelerare la costruzione di ambienti simulati e dataset destinati alla physical AI.