Ant Group ha ampliato la propria piattaforma dedicata alla physical AI con LingBot-VA 2.0, un modello visione-linguaggio-azione progettato specificamente per il controllo dei robot, e con LingBot-World-Infinity, un world model capace di generare in tempo reale l’evoluzione futura di un ambiente in risposta alle azioni dell’utente. Le due soluzioni affiancano LingBot-Vision e LingBot-Depth 2.0, già dedicati rispettivamente alla comprensione visiva e alla percezione della profondità, completando un’architettura orientata alla percezione dello spazio, alla previsione delle conseguenze fisiche e all’esecuzione di attività nel mondo reale.
LingBot-VA 2.0 è stato sviluppato attraverso un’architettura denominata Native Video-Action Pretraining, nella quale i video e le azioni del robot vengono appresi congiuntamente fin dalle prime fasi dell’addestramento. Il modello non deriva quindi dal semplice adattamento di un sistema generativo progettato per produrre filmati, poiché la rappresentazione dei dati, la struttura della rete e il processo di apprendimento sono stati costruiti direttamente intorno alle esigenze del controllo robotico.
I modelli video tradizionali imparano soprattutto a generare sequenze visivamente plausibili, mentre un robot deve comprendere le proprietà fisiche degli oggetti, prevedere il modo in cui un movimento modifica l’ambiente e aggiornare continuamente il proprio comportamento in base alle informazioni provenienti dai sensori. LingBot-VA 2.0 integra queste relazioni nel processo di preaddestramento, collegando ciò che appare nel video alle azioni che producono il cambiamento osservato.
Un nuovo tokenizer visione-azione converte le osservazioni del robot, i video dimostrativi e i movimenti eseguiti in rappresentazioni latenti condivise. Questa impostazione permette di utilizzare anche grandi quantità di filmati disponibili online per apprendere relazioni tra gesti, oggetti e trasformazioni dell’ambiente, riducendo la dipendenza dai dati raccolti esclusivamente attraverso piattaforme robotiche fisiche, generalmente più costosi e complessi da produrre.
L’architettura utilizza una Mixture of Transformers nella quale un Video Expert, specializzato nella comprensione e nella previsione delle sequenze visive, collabora con un Action Expert dedicato alla generazione dei comandi robotici. I due componenti condividono un meccanismo causale di self-attention, attraverso il quale le informazioni visive e motorie vengono elaborate in modo coordinato, mantenendo il collegamento temporale tra lo stato dell’ambiente, il movimento selezionato e il risultato previsto.
Il sistema adotta inoltre una struttura Mixture of Experts sparsa, che attiva soltanto i componenti necessari per ogni fase dell’elaborazione. LingBot-VA 2.0 contiene complessivamente circa 15,3 miliardi di parametri, mentre durante una singola inferenza ne utilizza approssimativamente 2,5 miliardi; questa selezione dinamica riduce il carico computazionale e permette di mantenere capacità elevate senza coinvolgere l’intera rete per ogni decisione.
La gestione delle attività di lunga durata viene affidata a una struttura gerarchica. Un planner a bassa frequenza analizza l’obiettivo generale e lo suddivide in una serie di sottoattività, mentre un controllore ad alta frequenza traduce ogni passaggio in movimenti eseguiti in tempo reale. La separazione consente al robot di mantenere una pianificazione estesa, necessaria per organizzare un cassetto o riordinare una scrivania, e di reagire rapidamente alle variazioni rilevate durante l’esecuzione.
La funzione Foresight Reasoning permette al sistema di preparare in anticipo le azioni successive. Durante l’esecuzione di un movimento, il modello prevede contemporaneamente quale dovrà essere il passaggio seguente e quale trasformazione dovrebbe prodursi nell’ambiente; quando arrivano nuove informazioni dai sensori, la previsione viene corretta immediatamente, evitando pause tra una fase e l’altra e riducendo il ritardo accumulato nella catena di controllo.
Il modello utilizza anche rollout autoregressivi e tecniche di model predictive control per simulare l’evoluzione futura delle rappresentazioni visive e dei comandi. Il robot può così valutare sequenze di azioni su un orizzonte più lungo, selezionare il comportamento coerente con l’obiettivo e aggiornare continuamente il piano sulla base dello stato effettivamente osservato.
Ant Group ha applicato tre livelli di accelerazione dedicati all’esecuzione in tempo reale: la consistency distillation riduce il numero di passaggi richiesti per ottenere una previsione, la compilazione FP8 con TensorRT sfrutta calcoli a precisione ridotta e l’ottimizzazione delle sequenze lunghe limita il costo dell’elaborazione temporale. La combinazione di queste tecniche ha prodotto un miglioramento superiore a quattro volte nelle prestazioni end-to-end, mantenendo una traiettoria di controllo sufficientemente fluida per l’impiego robotico.
LingBot-VA 2.0 supporta anche l’in-context learning applicato alla robotica. Il sistema può osservare un singolo video nel quale una persona o un altro robot svolge una determinata attività, ricavare la successione delle operazioni e adattarla a una nuova disposizione degli oggetti, senza richiedere un nuovo ciclo di addestramento. Il video dimostrativo diventa così una forma di istruzione contestuale attraverso la quale il modello comprende sia il risultato richiesto sia la procedura necessaria per raggiungerlo.
Le valutazioni sono state condotte su quattro attività fisiche, comprendenti la raccolta di penne, la classificazione della frutta, l’organizzazione di un cassetto e il passaggio di piatti, oltre che sul benchmark simulato RoboTwin. LingBot-VA 2.0 ha raggiunto percentuali di successo superiori a quelle ottenute dalla precedente versione LingBot-VA 1.0 e dal modello π₀.₅.
Le dimostrazioni hanno incluso attività caratterizzate da requisiti molto differenti, come il gioco dell’air hockey, che richiede movimenti rapidi e reazioni immediate, la manipolazione di chip per semiconduttori, nella quale sono necessarie precisione e delicatezza, la selezione di oggetti su un nastro trasportatore e il riordino completo di una scrivania. La stessa architettura è stata quindi utilizzata per controllare azioni ad alta velocità, operazioni di presa estremamente accurate e sequenze composte da numerosi passaggi consecutivi.
Accanto al modello di controllo robotico, Ant Group ha presentato LingBot-World-Infinity, indicato anche come LingBot-World 2.0. Si tratta di un Open Causal World Model che genera l’evoluzione futura di una scena in funzione delle azioni impartite dall’utente, permettendo di costruire ambienti interattivi nei quali ogni comando modifica in tempo reale il contenuto visivo successivo.
Il modello è stato progettato per affrontare due problemi ricorrenti nella generazione prolungata di mondi virtuali: il progressivo deterioramento della qualità visiva e l’aumento della latenza. Nelle sequenze molto lunghe, gli errori prodotti a ogni passaggio possono accumularsi, provocando deformazioni, perdita di coerenza e variazioni impreviste degli oggetti; LingBot-World-Infinity utilizza un meccanismo di attenzione specifico per conservare una rappresentazione stabile dell’ambiente anche durante generazioni estese.
L’architettura integra una maschera di attenzione MoBA, acronimo di Mixture of Bidirectional and Autoregressive, che combina l’elaborazione bidirezionale delle informazioni disponibili con la generazione autoregressiva dei fotogrammi futuri. La componente bidirezionale permette al sistema di collegare tra loro gli elementi presenti nel contesto, mentre quella autoregressiva mantiene la progressione causale necessaria per produrre la scena successiva in base alle azioni già eseguite.
La distillazione viene utilizzata anche nel world model per ridurre i tempi di generazione e rendere l’ambiente utilizzabile in modo interattivo. La versione principale dispone di 14 miliardi di parametri, mentre Ant Group prevede di rendere disponibile anche una variante più leggera da 1,3 miliardi, destinata agli scenari che richiedono requisiti hardware inferiori o una distribuzione più vicina ai dispositivi locali.
Nell’ambiente di esecuzione, LingBot-World-Infinity impiega un raffinatore spazio-temporale e un motore TensorRT per migliorare la qualità dei fotogrammi e accelerare la generazione. Secondo i dati presentati, questa configurazione consente di raggiungere fino a 60 fotogrammi al secondo, una velocità che permette di aggiornare il mondo sintetico in tempo reale mentre l’utente o un agente modifica la scena attraverso le proprie azioni.
LingBot-VA 2.0 e LingBot-World-Infinity coprono due funzioni strettamente collegate della physical AI. Il modello visione-linguaggio-azione interpreta l’ambiente e produce i comandi necessari per controllare il robot, mentre il world model simula le conseguenze delle azioni e genera gli stati futuri della scena. La loro integrazione può permettere a un agente di osservare, pianificare, prevedere gli effetti di una decisione e intervenire nel mondo fisico attraverso un ciclo continuo di percezione e controllo.