Skild AI ha presentato S1, un nuovo foundation model per la robotica progettato per apprendere attività complesse osservando una singola dimostrazione video, senza richiedere raccolte aggiuntive di dati sul robot, fine-tuning specifici o modifiche successive dei pesi del modello. Il sistema utilizza un approccio di in-context learning applicato alla robotica: osserva una persona mentre esegue un’attività, interpreta l’obiettivo, la sequenza delle operazioni e l’avanzamento del compito, quindi traduce quanto osservato in azioni compatibili con la propria struttura fisica e con l’ambiente in cui si trova. L’obiettivo è superare uno dei principali limiti dei sistemi robotici tradizionali, che per ogni nuovo compito richiedono normalmente decine o centinaia di ore di dimostrazioni, acquisizione di dati reali e una successiva fase di addestramento dedicato.
Le capacità di S1 sono state dimostrate soprattutto su attività lunghe e composte da numerose operazioni consecutive, comprese mansioni non presenti nei dati di pre-addestramento. Il modello ha imparato da un solo video a piantare una pianta in un vaso, girare un pancake, preparare un caffè con metodo pour-over e assemblare manualmente prodotti. Alcune sequenze comprendevano decine di passaggi e raggiungevano una durata di circa dieci minuti. S1 è riuscito a interpretare operazioni come scavare nel terriccio, inserire la pianta, posizionare correttamente un filtro da caffè o manipolare utensili necessari alla preparazione degli alimenti, pur senza aver appreso direttamente quelle specifiche azioni durante il training.
I risultati pubblicati da Skild AI mostrano una differenza significativa rispetto ai tradizionali modelli VLA, Vision-Language-Action, condizionati attraverso istruzioni linguistiche. Utilizzando quantità crescenti di dati di pre-addestramento, comprese tra 1.000 e 100.000 ore, la capacità di apprendere compiti mai incontrati prima è aumentata sensibilmente con S1. Con 100.000 ore di dati, un modello VLA tradizionale ha raggiunto un tasso di successo del 9% sui nuovi compiti, mentre l’approccio in-context learning di S1 ha raggiunto il 66%. Secondo i test, una singola dimostrazione fornita al modello è inoltre risultata sufficiente per ottenere prestazioni paragonabili a quelle di un sistema VLA addestrato successivamente con 380 dimostrazioni aggiuntive dello stesso compito.
La riduzione dei tempi di apprendimento è particolarmente evidente nelle prove pratiche. In un nuovo compito di piantumazione, dopo aver predisposto gli oggetti necessari, il processo completo dalla dimostrazione all’esecuzione autonoma ha richiesto circa 11 minuti. Il robot non deve quindi essere sottoposto a una nuova fase di training dopo aver osservato il compito: il video stesso funziona come istruzione contestuale attraverso la quale il modello determina cosa deve ottenere e come adattare l’esecuzione alle condizioni reali.
S1 è stato inoltre progettato per continuare a operare quando l’ambiente cambia rispetto alla dimostrazione originale. Durante i test sono stati spostati gli oggetti, alcuni elementi sono stati sostituiti con altri e sono state modificate le condizioni di illuminazione, senza interrompere necessariamente l’esecuzione. In presenza di errori il modello ha mostrato anche la capacità di tentare nuovamente un’operazione anziché proseguire con una sequenza ormai compromessa. Un comportamento particolarmente significativo riguarda le dimostrazioni che contengono esse stesse degli errori: S1 non si limita a riprodurre meccanicamente tutti i movimenti osservati, ma cerca di ricostruire l’obiettivo finale e può scegliere un’azione diversa quando quella mostrata nel video risulta inadeguata.
Alla base di queste capacità c’è un pre-addestramento su grandi quantità di dati robotici diversificati, nel quale le dimostrazioni video vengono utilizzate direttamente come indicazioni del compito da eseguire. Skild AI ha utilizzato infrastrutture AI di Nvidia per l’addestramento e ha dichiarato di aver concentrato una parte rilevante delle risorse non tanto sull’aumento indiscriminato della quantità dei dati, quanto sul loro controllo qualitativo. Sono stati quindi verificati elementi come precisione delle dimostrazioni, coerenza delle attività e qualità delle annotazioni, con l’obiettivo di fornire al modello esempi sufficientemente affidabili da permettere la generalizzazione verso situazioni mai incontrate prima.
L’aspetto più rilevante per l’impiego commerciale riguarda proprio la possibilità di eliminare gran parte del ciclo necessario oggi per introdurre una nuova attività robotizzata. Nei sistemi convenzionali ogni modifica del compito o dell’ambiente può richiedere una nuova raccolta dati, il fine-tuning del modello e ulteriori verifiche prima della distribuzione. Con S1, l’operatore può invece mostrare direttamente al robot come svolgere una nuova attività e utilizzare quella dimostrazione come contesto operativo immediato. Questo approccio può risultare particolarmente utile in logistica, produzione e servizi, dove le attività cambiano frequentemente e il costo dell’adattamento del robot può diventare superiore al vantaggio ottenuto dall’automazione.
Skild AI sta già utilizzando S1 insieme a partner commerciali e prevede di estendere ulteriormente le capacità di in-context learning del modello. L’obiettivo è rendere i robot meno dipendenti da procedure di addestramento specifiche per ogni singola mansione e spostare progressivamente l’apprendimento verso una modalità più simile a quella umana: osservare un esempio, comprenderne l’intento e applicarlo direttamente a una situazione reale nuova.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)