NVIDIA ha presentato Aspire, un sistema di apprendimento continuo per la robotica progettato per far scrivere, testare e correggere programmi di controllo a un agente AI, trasformando le soluzioni validate in una libreria di skill riutilizzabili. Il progetto, sviluppato insieme a ricercatori di University of Michigan, UIUC, UC Berkeley e Carnegie Mellon, utilizza un approccio code-as-policy: il comportamento del robot non è una policy opaca end-to-end, ma un programma eseguibile che combina percezione, pianificazione del movimento, grasping e primitive di controllo.
Il funzionamento di Aspire ruota attorno a un robot execution engine in closed loop. Durante l’esecuzione, il sistema non restituisce soltanto un risultato finale positivo o negativo, ma registra tracce multimodali per ogni chiamata significativa del programma. L’agente può quindi analizzare pose degli oggetti, output dei modelli di percezione, candidate grasp, keyframe RGB, overlay visivi, esiti del motion planning, traiettorie e segnali di collisione. Questo livello di dettaglio permette di attribuire il fallimento alla componente effettivamente responsabile, evitando correzioni casuali sull’intero workflow.
Nel caso analizzato nel paper, il robot individua correttamente una radio da raccogliere ma non riesce ad avvicinarsi perché le pose di navigazione generate ricadono nel buffer di sicurezza di un tavolo. Il planner restituisce quindi ripetuti errori di pianificazione, mentre localizzazione e presa dell’oggetto non costituiscono il problema. Aspire interpreta questi trace, modifica il codice inserendo una procedura di approccio multi-angolo e prova target collocati su lati diversi dell’oggetto. Dopo avere individuato una traiettoria libera, il robot raggiunge la radio e completa la presa. La soluzione viene salvata non come script per quel singolo scenario, ma come skill di recupero applicabile quando un target si trova vicino a un ostacolo o a un margine di collisione.
La libreria di skill raccoglie conoscenze eterogenee emerse durante il debugging: disambiguazione spaziale tra oggetti simili, strategie di localizzazione, costruzione di primitive di movimento, recupero da errori di navigazione, gestione di maniglie e cassetti, grasping per oggetti specifici, analisi della scena e procedure di verifica. Ogni skill sintetizza la firma dell’errore, le condizioni in cui deve essere applicata, la riparazione validata e, quando utile, uno schema di codice. Il coordinatore centrale del sistema valuta le correzioni prodotte dagli agenti incaricati dei singoli task e inserisce nella libreria condivisa soltanto quelle che mostrano possibilità di riuso.
Aspire amplia inoltre il debugging con una ricerca evolutiva sui programmi. L’agente genera più varianti di una soluzione, le esegue nel simulatore, confronta successi e failure trace e usa i programmi migliori come base per nuove proposte. La ricerca evita che il sistema continui a rifinire una strategia localmente sbagliata e consente di esplorare metodi alternativi di navigazione, manipolazione e coordinamento delle azioni.
Nei benchmark LIBERO-Pro, Robosuite e BEHAVIOR-1K, Aspire ha mostrato miglioramenti rilevanti rispetto a coding agent e modelli vision-language-action. Sul task bimanuale di handover in Robosuite raggiunge il 92% di successo, contro il 20% del baseline principale. Nei compiti domestici a lungo orizzonte di BEHAVIOR-1K, il recupero di una radio passa dal 56% all’88%. La libreria acquisita su 90 task permette inoltre il trasferimento zero-shot verso attività più lunghe e non viste, raggiungendo il 23% di successo nelle perturbazioni di posizione e il 38% nelle variazioni del task.
Il lavoro include anche una verifica di sim-to-real transfer su un robot bimanuale con embodiment e API differenti rispetto alla simulazione. Le skill non vengono usate come policy direttamente trasferite, ma come contesto operativo per guidare un nuovo agente nella scrittura del programma sul robot reale. Nei test di presa di una lattina, l’impiego della skill simulata ha portato il successo da 13 a 19 prove su 20, riducendo in modo sostanziale i token necessari al debugging. Nella manipolazione di un cassetto, la configurazione assistita dalle skill ha ottenuto 11 successi su 20, mentre il sistema senza skill ha esaurito il budget di debugging senza produrre un programma funzionante.
Aspire propone quindi un modello in cui l’esperienza acquisita dai robot non resta confinata alla singola esecuzione. I fallimenti diagnosticati e corretti diventano componenti operative riutilizzabili, con l’obiettivo di rendere più veloce la programmazione robotica e più efficace il passaggio da task simulati a scenari fisici.