NVIDIA ha sviluppato VFlash, un sistema di decodifica progettato per accelerare la generazione di informazioni spaziali nei modelli di intelligenza artificiale utilizzati per robotica, manipolazione di oggetti e guida autonoma. La tecnologia affronta i limiti dell’elaborazione autoregressiva tradizionalmente impiegata dai modelli vision-language, nei quali coordinate, posizioni e traiettorie vengono generate attraverso sequenze di token prodotti uno alla volta. Questo procedimento può introdurre latenze significative quando il sistema deve prevedere numerosi punti di una traiettoria tridimensionale o elaborare la posizione di più oggetti contemporaneamente. Inoltre, gli errori compiuti nella generazione dei primi elementi della sequenza possono propagarsi alle coordinate successive, compromettendo la precisione della previsione complessiva.
L’architettura di VFlash utilizza un modello leggero, denominato Drafter, addestrato a riconoscere la struttura geometrica delle informazioni spaziali. Molti risultati prodotti dai modelli robotici, come le coordinate tridimensionali, le posizioni degli oggetti e i punti che descrivono una traiettoria, possono essere rappresentati come vettori numerici di lunghezza e struttura definite. Sfruttando queste caratteristiche, Drafter genera parallelamente l’intero insieme delle coordinate richieste, invece di produrle in successione. Il procedimento permette di trattare simultaneamente le diverse componenti della rappresentazione spaziale e riduce la dipendenza temporale tra le singole predizioni. A differenza della decodifica speculativa tradizionale, che cerca di riprodurre esattamente i token che verrebbero generati dal modello principale, VFlash può utilizzare risultati geometricamente validi anche quando non coincidono con la sequenza autoregressiva originale.
Una caratteristica della soluzione è la possibilità di mantenere invariati i pesi del modello vision-language di partenza. L’addestramento riguarda il componente Drafter, mentre il modello principale continua a fornire le capacità di interpretazione visiva e comprensione dell’ambiente già acquisite. L’approccio è applicabile a coordinate di posizionamento, bounding box, punti di destinazione, traiettorie dei robot e previsioni di movimento tridimensionale. La struttura e il numero delle coordinate da produrre vengono definiti prima della generazione, consentendo al modello leggero di elaborarle in parallelo. Questo metodo permette di introdurre le nuove funzionalità senza ripetere l’addestramento completo del modello AI utilizzato come base.
Le valutazioni sono state effettuate attraverso benchmark dedicati alla robotica, tra cui ShareRobot-Bench e VABench-V. Rispetto alla generazione autoregressiva, VFlash ha ridotto mediamente del 42,6% l’errore di spostamento delle traiettorie tridimensionali, misurato attraverso l’Average Displacement Error. In alcune prove di previsione 3D, la diminuzione dell’errore ha raggiunto il 61%. Nelle sperimentazioni di manipolazione robotica, il modello equipaggiato con VFlash ha ottenuto un successo medio del 70,2%, superiore al 62,6% del modello di riferimento e al 61,0% della configurazione che generava le traiettorie attraverso il metodo autoregressivo. Sono stati inoltre condotti test nel settore della guida autonoma utilizzando NAVSIM e valutazioni collegate a Waymo, nei quali il sistema ha mantenuto prestazioni competitive riducendo la latenza di decodifica.
I miglioramenti prestazionali risultano particolarmente evidenti sulle piattaforme di elaborazione locale, tra cui NVIDIA Jetson Thor e DGX Spark. Su Jetson Thor, un’attività di inferenza che richiedeva 3.553 millisecondi con il procedimento autoregressivo è stata completata in 703 millisecondi attraverso VFlash. Considerando anche l’elaborazione visiva e l’esecuzione dei modelli di comportamento, l’accelerazione complessiva dell’inferenza ha raggiunto un massimo di 5,1 volte. Il valore riguarda esclusivamente il tempo di elaborazione del modello e non implica che un robot completi fisicamente i movimenti cinque volte più rapidamente. L’architettura è destinata alle applicazioni nelle quali i sistemi di intelligenza artificiale devono aggiornare rapidamente le previsioni spaziali e le traiettorie, conservando precisione e tempi di risposta compatibili con il funzionamento dei dispositivi robotici.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)