Generalist AI ha presentato GEN-1.5, un nuovo robot foundation model progettato per consentire a un sistema robotico di apprendere attività mai eseguite prima attraverso una singola dimostrazione fisica, senza richiedere necessariamente un nuovo ciclo di addestramento specifico. Il modello può utilizzare una breve sequenza dimostrativa come una sorta di prompt fisico: osserva ciò che deve essere fatto, ricava l’obiettivo dell’azione e genera direttamente i movimenti necessari per tentare di riprodurla.
GEN-1.5 è un modello multimodale di grandi dimensioni capace di elaborare contemporaneamente informazioni provenienti da video, sensori, linguaggio e stato delle articolazioni del robot. Il sistema può mantenere nel proprio contesto fino a 30 secondi di esperienza e generare traiettorie di azione a una frequenza di 100 volte al secondo. Una delle caratteristiche principali riguarda l’apprendimento in-context: una singola dimostrazione della durata compresa tra circa 3 e 12 secondi può essere inserita direttamente nella finestra di contesto del modello come “physical prompt”, permettendo al robot di provare immediatamente il nuovo compito senza un’ulteriore fase di training.
Nei test effettuati su 10 attività differenti, GEN-1.5 ha raggiunto una percentuale media di successo del 59% utilizzando una sola dimostrazione. Tra le operazioni sperimentate figurano la manipolazione di una cerniera, l’apertura di una bottiglia e l’estrazione di denaro da un portafoglio. Il risultato non indica ancora un’affidabilità sufficiente per un utilizzo indiscriminato, ma mostra la capacità del modello di affrontare attività che non erano state preventivamente addestrate in modo specifico e di modificare autonomamente il proprio comportamento durante l’esecuzione.
Le prestazioni possono aumentare sensibilmente introducendo una fase di adattamento molto limitata. Utilizzando circa cinque minuti di dati e soltanto 10 ulteriori passaggi di addestramento, il tasso medio di successo è salito fino all’83%. Il fabbisogno di dati e calcolo risulta quindi notevolmente inferiore rispetto agli approcci robotici tradizionali, nei quali l’adattamento a una nuova attività può richiedere migliaia o decine di migliaia di step di training.
La capacità di apprendere dalle dimostrazioni non è limitata alla semplice imitazione di un singolo movimento. Fornendo al modello due differenti dimostrazioni fisiche, GEN-1.5 può combinare le rispettive attività all’interno di una sequenza operativa unica. In questo processo il robot è in grado di generare autonomamente anche le azioni intermedie necessarie a collegare i due compiti, comprese operazioni che non comparivano direttamente negli esempi forniti, come spostamenti verso una nuova posizione, nuove prese dell’oggetto o manovre per recuperare da un errore. Generalist AI definisce questo approccio “physical prompt engineering”, applicando al comportamento fisico del robot un concetto analogo all’utilizzo di istruzioni contestuali nei modelli generativi.
GEN-1.5 ha inoltre dimostrato di poter utilizzare dimostrazioni generate in simulazione per controllare successivamente un robot reale. Questo comportamento è particolarmente significativo perché i dati provenienti da simulatori non erano stati inclusi nella fase di pre-training del modello: nonostante ciò, una dimostrazione prodotta nell’ambiente simulato può essere utilizzata come prompt per guidare il comportamento del sistema fisico.
In alcuni esperimenti è stato possibile trasferire un’azione anche direttamente da una persona al robot. Un operatore esegue manualmente il compito con le proprie mani, mentre il sistema lo osserva attraverso una telecamera; GEN-1.5 interpreta quindi la dimostrazione e prova immediatamente a eseguire un comportamento analogo con il proprio apparato robotico. Si tratta di una forma di imitazione uomo-robot che riduce ulteriormente la necessità di predisporre dataset o sequenze robotiche appositamente registrate.
Il modello mostra inoltre capacità di adattamento quando cambiano gli strumenti disponibili. GEN-1.5 può utilizzare oggetti che non erano comparsi durante l’addestramento, come spazzole o palette raccoglipolvere, individuando nuove strategie operative per raggiungere comunque l’obiettivo di un’attività già conosciuta. Durante l’esecuzione può anche correggere autonomamente alcuni errori o modificare i movimenti quando la situazione reale differisce da quella prevista inizialmente.
Secondo Generalist AI, queste capacità non derivano dall’inserimento di moduli progettati espressamente per l’apprendimento immediato. Nel modello non sarebbero state introdotte architetture specifiche per forzare l’in-context learning, procedure dedicate di meta-learning o particolari funzioni obiettivo ausiliarie destinate all’apprendimento istantaneo. Il comportamento sarebbe invece emerso durante il pre-training effettuato su grandi quantità di dati relativi alle interazioni fisiche.
GEN-1.5 rappresenta l’evoluzione del lavoro svolto dall’azienda con i precedenti GEN-0 e GEN-1. Durante lo sviluppo di queste generazioni Generalist AI ha osservato che, aumentando la quantità e la varietà delle esperienze fisiche utilizzate nel pre-training, diminuivano progressivamente sia i dati sia la capacità di calcolo necessari per adattare il robot a nuovi compiti, mentre aumentavano le proprietà di generalizzazione. GEN-1.5 porta ulteriormente avanti questa impostazione dopo un periodo di pre-training continuativo superiore a otto mesi.
Il risultato più rilevante riguarda quindi soprattutto la modalità con cui il robot può essere istruito. Invece di programmare dettagliatamente una nuova procedura o raccogliere un dataset specifico per ogni attività, una persona può mostrare direttamente per pochi secondi ciò che vuole ottenere e utilizzare quella dimostrazione come contesto operativo per il modello. Un sistema di questo tipo potrebbe rendere più rapido il passaggio da un’attività all’altra e ridurre le competenze specialistiche necessarie per configurare un robot per un nuovo compito.
GEN-1.5 presenta tuttavia ancora limiti importanti. La percentuale media di successo in modalità one-shot resta pari al 59% e gli esperimenti descritti riguardano attività relativamente brevi e circoscritte. Rimane quindi da verificare se la stessa capacità di generalizzazione, adattamento e recupero dagli errori possa essere mantenuta in lavorazioni industriali più complesse, composte da sequenze operative prolungate e soggette a condizioni ambientali maggiormente variabili.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)