Humyn Labs ha avviato la costruzione di un’infrastruttura di dati dedicata alla physical AI, progettata per trasformare migliaia di ore di movimenti, percezioni e decisioni umane in materiale utilizzabile per l’addestramento dei robot. Il progetto parte da una differenza fondamentale tra modelli linguistici e sistemi robotici: mentre gli LLM hanno potuto apprendere sfruttando enormi quantità di testo e immagini già disponibili su Internet, i robot devono acquisire esperienza su interazioni fisiche, variazioni ambientali e comportamenti che si verificano nel mondo reale e che non esistono già sotto forma di dataset facilmente accessibili.
L’obiettivo di Humyn Labs è quindi raccogliere e strutturare quelle esperienze umane che normalmente si verificano una sola volta e poi scompaiono. Attività apparentemente semplici, come stirare evitando un bambino o un animale domestico che si muove nell’ambiente, sistemare prodotti in un negozio affollato oppure lavorare in una fabbrica adattandosi a piccole differenze tra componenti e condizioni operative, contengono una quantità elevata di informazioni contestuali difficili da riprodurre integralmente attraverso una simulazione. Per un robot, imparare queste attività significa non soltanto ripetere un gesto, ma comprendere continuamente ciò che accade intorno e modificare il comportamento in funzione della situazione.
Per raccogliere questo tipo di esperienza, Humyn Labs ha sviluppato una piattaforma basata su sensori egocentrici, cioè dati registrati dal punto di vista della persona che sta eseguendo il compito. Il sistema integra quattro modalità sensoriali principali: visione, audio, movimento e tatto. La combinazione di queste informazioni dovrebbe permettere ai modelli robotici di collegare l’azione compiuta dall’essere umano con il contesto nel quale viene eseguita, superando un’impostazione basata esclusivamente sulla riproduzione meccanica delle traiettorie.
L’azienda ha inoltre messo a disposizione una libreria di dati video in prima persona specificamente destinata alla physical AI. La raccolta comprende cinque dataset egocentrici, differenziati in base agli ambienti e alle modalità di acquisizione. I dati includono informazioni sulla posa della testa a sei gradi di libertà, o 6-DoF, consentendo di ricostruire posizione e orientamento nello spazio, oltre a 21 keypoint associati alle mani per rappresentarne in maniera dettagliata postura e movimento.
I dataset contengono anche dati di profondità metrica, attraverso i quali è possibile conoscere la distanza assoluta tra il soggetto, gli oggetti e l’ambiente circostante. A queste informazioni vengono aggiunte etichette delle azioni associate ai singoli frame, permettendo di collegare ciò che la persona sta vedendo e facendo con una descrizione strutturata dell’attività svolta. La presenza simultanea di posizione, movimento delle mani, profondità, immagini e annotazioni rende questi dataset utilizzabili non soltanto per l’imitazione delle azioni, ma anche per modelli che devono imparare relazioni spaziali e sequenze operative.
Humyn Labs distribuisce i dati utilizzando formati già adottati nei workflow di sviluppo della robotica, tra cui MCAP, RLDS e LeRobot v3. La scelta mira a rendere il materiale direttamente integrabile nelle pipeline di addestramento esistenti, riducendo la necessità di convertire o ristrutturare i dataset prima del loro utilizzo. Il progetto punta quindi non soltanto sulla raccolta di esperienza umana, ma sulla creazione di dati già predisposti per essere elaborati dai modelli robotici.
Un altro elemento centrale riguarda la qualità delle informazioni raccolte. Humyn Labs sta costruendo una rete di fornitori di dati verificati attraverso partnership internazionali e prevede di utilizzare strumenti proprietari di quality assurance insieme a procedure human-in-the-loop. I dati acquisiti vengono quindi sottoposti a controlli automatici e a verifiche effettuate da persone, con l’obiettivo di eliminare registrazioni inaccurate, incomplete o poco utilizzabili e mantenere una qualità sufficiente per l’addestramento dei sistemi di physical AI.
L’azienda considera questo processo necessario perché le simulazioni, pur essendo molto importanti nello sviluppo robotico, non riescono a rappresentare completamente la complessità del mondo reale. Gli ambienti domestici, industriali e commerciali presentano continuamente eccezioni, variazioni e interazioni difficili da prevedere in anticipo. Le caratteristiche fisiche degli oggetti possono cambiare, le persone possono modificare improvvisamente il contesto operativo e un’attività apparentemente identica può richiedere movimenti differenti a seconda dello spazio disponibile o degli elementi presenti nell’ambiente.
La strategia di Humyn Labs consiste quindi nella creazione di quello che l’azienda definisce un human data layer, uno strato di dati umani destinato a trasformare esperienze reali in competenze riutilizzabili dai robot. In questo modello, l’azione svolta da una persona non rimane un singolo evento isolato, ma viene acquisita attraverso i sensori, arricchita con informazioni spaziali e contestuali, verificata e successivamente trasformata in dati strutturati dai quali un sistema robotico può apprendere.
Il passaggio successivo consiste nel convertire queste raccolte di esperienza in vere e proprie robot skills. L’obiettivo non è quindi costruire semplicemente un archivio di video umani, ma creare una base dati che possa essere utilizzata per sviluppare robot capaci di generalizzare ciò che hanno imparato e applicarlo a situazioni differenti. Migliaia di ore di esperienza umana possono così diventare materiale ripetutamente utilizzabile durante l’addestramento, permettendo ai modelli di osservare molte più varianti di uno stesso compito rispetto a quelle normalmente disponibili attraverso dataset robotici raccolti direttamente con singole macchine.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)