World Labs ha presentato Atlas, un nuovo omni world model progettato per generare, ricostruire e simulare ambienti reali utilizzando congiuntamente testo, immagini, video e dati tridimensionali. La società guidata da Fei-Fei Li ha sviluppato il modello con l’obiettivo di superare la semplice generazione di immagini o filmati e costruire invece una rappresentazione coerente dello spazio, nella quale posizione degli oggetti, punti di vista, movimento della camera e trasformazioni nel tempo vengono trattati all’interno dello stesso sistema. Atlas utilizza un’architettura multimodale basata su un Autoregressive Diffusion Transformer, preaddestrato fin dall’inizio per elaborare le diverse modalità e associare ogni immagine alla sua posizione all’interno dello spazio tridimensionale.
Il modello organizza le informazioni ricevute all’interno di un contesto spaziale condiviso e utilizza questa rappresentazione per generare scene successive o porzioni dell’ambiente non direttamente visibili nei dati di partenza. Una delle capacità principali riguarda infatti il Novel View Synthesis, cioè la generazione di nuovi punti di vista a partire da un numero molto limitato di immagini. Atlas può utilizzare anche una sola fotografia come riferimento e produrre visualizzazioni della stessa scena osservata da posizioni della camera che non erano presenti nell’immagine originale, ricostruendo le parti non visibili sulla base delle informazioni disponibili e della conoscenza appresa dal modello.
Quando vengono fornite più immagini dello stesso ambiente, Atlas analizza invece le relazioni spaziali tra i diversi punti di vista e le collega in una rappresentazione unica e coerente. All’aumentare delle immagini disponibili diminuisce la quantità di informazioni che il modello deve ricostruire per inferenza e aumenta la precisione della rappresentazione dello spazio reale. Il sistema consente inoltre di specificare direttamente la posizione e l’orientamento della camera, permettendo un controllo del punto di vista vicino alla precisione del singolo pixel. La generazione video può arrivare fino alla risoluzione 1440p e a una durata di un minuto.
La ricostruzione non rimane limitata alla produzione di immagini bidimensionali. Utilizzando le fotografie in ingresso insieme alle informazioni sulla posizione della camera, Atlas può ricostruire esplicitamente la geometria tridimensionale della scena e produrre output sotto forma di point cloud e 3D Gaussian Splat. World Labs ha testato queste capacità sui benchmark DTU, ETH3D e ScanNet, indicando prestazioni superiori a quelle di modelli open source progettati specificamente per la ricostruzione 3D. In questo modo lo stesso sistema può passare dalla comprensione visuale di una scena alla costruzione di una rappresentazione tridimensionale utilizzabile successivamente per visualizzazione, simulazione o ulteriori elaborazioni.
Il controllo della camera costituisce anche una delle principali differenze rispetto ai normali generatori video. Invece di impartire attraverso un prompt un’indicazione generica come lo spostamento o la rotazione della camera, Atlas può ricevere direttamente come input la posizione e la traiettoria che la camera deve seguire. Nei test effettuati da World Labs, il modello ha ottenuto risultati superiori ad altri sistemi di generazione video di fascia alta nella capacità di seguire il percorso assegnato alla camera, con un vantaggio che aumenta quando la traiettoria diventa più complessa. La caratteristica permette quindi di separare maggiormente il contenuto generato dalle modalità con cui viene esplorato visivamente lo spazio.
Atlas è progettato inoltre per modellare non soltanto lo spazio, ma anche le trasformazioni che avvengono nel tempo. Una scena può essere acquisita utilizzando più normali smartphone collocati in differenti posizioni e successivamente ricostruita dal modello, che può generare la visuale corrispondente a punti nei quali durante la registrazione non era fisicamente presente alcuna videocamera. World Labs ha utilizzato questa capacità anche per ottenere effetti simili al bullet time, ricostruendo una scena dinamica e generando successivamente punti di vista virtuali lungo traiettorie differenti da quelle delle telecamere originarie.
La rappresentazione spazio-temporale è destinata anche alla robotica. Attraverso procedure Real-to-Sim, Atlas può ricostruire un ambiente reale a partire da registrazioni effettuate con normali videocamere e trasformarlo in uno spazio simulato nel quale prevedere ciò che un robot osserverebbe spostandosi in differenti posizioni. Il modello può produrre sia dati RGB sia informazioni di profondità corrispondenti al punto di vista della telecamera del robot, permettendo di creare simulazioni più direttamente collegate all’ambiente fisico nel quale il sistema dovrà successivamente operare.
Le applicazioni nella robotica comprendono anche la simulazione della manipolazione degli oggetti. Dopo aver costruito l’ambiente utilizzando alcune riprese del mondo reale, è possibile modificare all’interno della simulazione la posizione degli oggetti, le condizioni di illuminazione o il comportamento del robot. Da una quantità relativamente limitata di acquisizioni fisiche possono quindi essere generate numerose varianti dello stesso scenario, utilizzabili come dati di addestramento o come ambienti di test per verificare il comportamento dei sistemi robotici in condizioni differenti.
Atlas supporta anche la generazione di immagini tradizionali e di panorami a 360 gradi. Il modello può seguire prompt testuali complessi, rappresentare testo all’interno delle immagini e produrre contenuti con differenti stili visivi. Queste capacità rimangono tuttavia complementari rispetto alla funzione principale del sistema, che consiste nell’utilizzare differenti tipologie di dati all’interno di un unico modello orientato alla spatial intelligence. Il risultato ricercato non è quindi soltanto la produzione di un contenuto visivo, ma la costruzione di un mondo nel quale immagini e video corrispondano a una struttura spaziale coerente che possa essere ricostruita, esplorata e modificata.
World Labs ha iniziato a rendere Atlas disponibile in early access a un gruppo selezionato di partner e prevede di integrare progressivamente la tecnologia nei propri prodotti, compreso Marble, la piattaforma dedicata alla generazione e alla costruzione di mondi tridimensionali. Durante lo sviluppo la società ha inoltre osservato un comportamento di scaling: aumentando la quantità di dati utilizzati per l’addestramento e le risorse computazionali, sono aumentate anche le capacità e le prestazioni del modello. Questo rappresenta uno degli elementi sui quali World Labs intende proseguire lo sviluppo dei propri world model, con applicazioni previste nella creazione di contenuti, nella robotica, nei videogiochi e negli effetti visivi.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)