E’ in atto una transizione che segna il passaggio dai modelli di visione-linguaggio tradizionali verso una nuova generazione di modelli di fondazione progettati specificamente per la robotica e gli agenti autonomi. In questo contesto, lo sviluppo del sistema HY-Embodied-0.5 da parte di Tencent rappresenta un punto di svolta tecnologico, poiché mira a superare i limiti strutturali che finora hanno impedito alle macchine di percepire lo spazio e il tempo con la precisione necessaria per agire in ambienti non strutturati.
I modelli di visione-linguaggio convenzionali, pur essendo straordinariamente efficaci nel descrivere immagini o rispondere a quesiti testuali, mostrano fragilità critiche quando applicati alla robotica. La loro principale carenza risiede in una percezione spaziale approssimativa e in una capacità di ragionamento limitata riguardo alle dinamiche fisiche. Per un robot, comprendere un’immagine non significa solo identificare gli oggetti, ma calcolare con millimetrica precisione distanze, volumi e le conseguenze meccaniche di un’interazione. Per colmare questo divario, la ricerca si è spostata verso la riprogettazione integrale dell’architettura del modello e dei paradigmi di apprendimento, puntando su una fusione organica tra percezione visiva, giudizio logico e azione motoria.
Il cuore tecnologico di questa nuova soluzione risiede nell’architettura denominata Mixture of Transformers, una struttura innovativa che si distacca dai metodi di elaborazione convenzionali. Questo approccio permette di trattare le informazioni visive e quelle testuali attraverso canali separati, evitando che l’interferenza tra dati di natura diversa possa degradare la qualità della comprensione. L’integrazione tra queste due dimensioni è garantita dall’introduzione dei cosiddetti token di potenziale visivo, che fungono da ponte semantico e geometrico. Grazie a questi vettori di informazione, il sistema è capace di mappare le relazioni tra gli oggetti e l’ambiente circostante con un’accuratezza senza precedenti, permettendo all’intelligenza artificiale di orientarsi anche all’interno di scenari visivi densi e complessi.
Dal punto di vista della scalabilità e dell’efficienza computazionale, la strategia adottata prevede una diversificazione in due varianti principali, basate sulla logica Mixture of Experts. La versione più imponente è progettata per gestire inferenze di estrema complessità, attivando solo una frazione dei suoi centinaia di miliardi di parametri per ottimizzare le risorse senza sacrificare le prestazioni, che si attestano sui livelli dei sistemi più avanzati del settore. Parallelamente, è stata sviluppata una versione leggera ottimizzata per l’implementazione in ambienti edge, dove la risposta in tempo reale è fondamentale. Un aspetto tecnico particolarmente rilevante è l’impiego della distillazione on-policy, una tecnica avanzata che permette al modello maggiore di “istruire” quello minore. Questo processo non si limita a un trasferimento di conoscenze statico, ma vede il modello più grande intervenire attivamente per correggere gli errori del più piccolo durante l’apprendimento, garantendo che anche le versioni compatte mantengano un’elevata capacità di giudizio.
L’apprendimento di questi sistemi non si basa più soltanto su database di immagini e testi, ma sfrutta dataset multimodali massivi che includono oltre cento milioni di punti dati specificamente legati alla fisicità e al movimento. Attraverso cicli di apprendimento per rinforzo e processi di autoevoluzione iterativa, il modello affina costantemente la propria capacità di previsione e azione. Questo ha portato alla nascita di sistemi Vision-Language-Action, architetture integrate dove la visione e il linguaggio fluiscono direttamente nel controllo motorio. Le applicazioni pratiche hanno confermato la validità di questo approccio in compiti complessi come lo smistamento di oggetti, l’impilamento di precisione e la manipolazione di elementi sospesi, superando i risultati dei modelli teorici precedenti.
L’impegno in questo settore non è un evento isolato, ma il risultato di una traiettoria di ricerca pluriennale che ha visto la creazione di strumenti per la generazione di mondi virtuali 3D interattivi a partire da input naturali e la produzione di sequenze di movimento umano tridimensionale. Questi strumenti complementari forniscono l’infrastruttura necessaria per simulare e addestrare i robot in ambienti virtuali prima del loro dispiegamento nel mondo reale. Con la decisione di rendere disponibili i pesi del modello e il codice sorgente alla comunità scientifica internazionale, si apre una nuova fase di collaborazione globale che accelera l’integrazione di robot intelligenti e capaci di agire in modo autonomo e sicuro nella nostra quotidianità.