Un gruppo di ricerca del Korea Advanced Institute of Science and Technology ha sviluppato APT-RL, un sistema di controllo basato su transformer e apprendimento per rinforzo che permette a un robot quadrupede di utilizzare diverse capacità motorie, combinarle e passare autonomamente da un’andatura all’altra in funzione del terreno e della velocità richiesta.
La tecnologia è stata sperimentata su HOUND, il robot quadrupede realizzato da KAIST per la locomozione dinamica ad alta velocità. Il sistema consente alla macchina di camminare, correre, saltare, superare dislivelli e attraversare ostacoli utilizzando una sola politica di controllo, evitando di affidare ciascuna capacità a un controller separato.
La gestione unificata delle andature risponde a uno dei principali problemi della robotica quadrupede destinata agli ambienti reali. Un robot può essere addestrato a correre rapidamente su una superficie regolare oppure a superare un determinato tipo di ostacolo, ma la presenza consecutiva di scale, pietre, aperture, radici, tronchi, pendenze e superfici deformabili richiede la capacità di cambiare strategia mentre il movimento è già in corso.
APT-RL, acronimo di Action Pretrained Transformer-based Reinforcement Learning, affronta questa difficoltà attraverso un processo articolato in più fasi. Il sistema costruisce innanzitutto una raccolta di abilità motorie di base, ottenute mediante modelli semplificati della dinamica del robot e tecniche di ottimizzazione delle traiettorie. Queste capacità vengono successivamente utilizzate come conoscenza preliminare per addestrare una politica capace di affrontare terreni tridimensionali complessi.
La generazione dei dati non richiede la registrazione tramite motion capture di animali, persone o robot reali. Il gruppo di ricerca ha prodotto in simulazione 15,5 ore di movimenti in circa otto minuti, creando un insieme di traiettorie sufficientemente ampio da comprendere differenti velocità, schemi di appoggio e modalità di superamento degli ostacoli.
L’impiego di una dinamica semplificata permette di calcolare rapidamente numerose soluzioni motorie, senza riprodurre fin dall’inizio ogni dettaglio del robot fisico. L’ottimizzazione delle traiettorie determina sequenze di movimento compatibili con gli obiettivi assegnati, mentre il successivo processo di addestramento trasferisce le capacità ottenute verso una rappresentazione utilizzabile dal sistema completo.
Questa prima fase produce una sorta di repertorio motorio riutilizzabile. Il robot apprende diverse configurazioni dell’azione, comprese andature adatte alla corsa, movimenti di salto, superamento di dislivelli e variazioni nella sequenza di appoggio delle zampe. Le abilità così ottenute vengono trasformate in priorità motorie sulle quali può essere costruita la politica destinata all’ambiente tridimensionale.
Il transformer svolge il compito di elaborare sequenze temporali di osservazioni e azioni, mantenendo informazioni sui movimenti eseguiti e sulla loro evoluzione. Questa capacità permette al controller di considerare il comportamento dinamico del robot durante il passaggio tra andature differenti, anziché trattare ogni comando come un’azione isolata.
L’apprendimento per rinforzo viene quindi utilizzato per adattare le abilità preaddestrate ai terreni complessi. Durante l’addestramento, il sistema sperimenta diverse sequenze di movimento e riceve ricompense in funzione della capacità di mantenere la stabilità, raggiungere la velocità richiesta, evitare le cadute, superare gli ostacoli e utilizzare in modo efficiente le proprie capacità motorie.
Il controller non riceve un comando esplicito che gli imponga di trottare, saltare o utilizzare un’andatura di tipo bound. Deve individuare autonomamente la strategia più adatta sulla base delle caratteristiche del terreno, dello stato dinamico del corpo e dell’obiettivo di velocità. Le transizioni tra le capacità motorie emergono quindi dalla politica addestrata, anziché essere definite attraverso una sequenza rigida programmata in precedenza.
Su un tratto relativamente regolare, HOUND può utilizzare il trotto, nel quale le zampe diagonalmente opposte si muovono in maniera coordinata. Quando incontra un ostacolo che richiede un movimento più esplosivo, può passare al bound, un’andatura nella quale le zampe anteriori e posteriori vengono utilizzate in coppia per produrre una fase di spinta e di volo più marcata.
La selezione dell’andatura non dipende soltanto dalla forma dell’ostacolo. Il sistema considera anche la velocità obiettivo e la condizione istantanea del robot, adattando il movimento alla combinazione tra requisiti di avanzamento e informazioni percettive. Lo stesso ostacolo può quindi essere affrontato con strategie differenti in base alla velocità, all’angolo di avvicinamento e alla sequenza di movimenti eseguita in precedenza.
La percezione dell’ambiente è affidata a una combinazione di telecamera di profondità e LiDAR. La telecamera Intel RealSense D435 rileva la struttura tridimensionale della zona davanti al robot, mentre il sensore LiDAR fornisce ulteriori misurazioni geometriche utili alla ricostruzione del terreno e all’individuazione degli ostacoli.
Tutta l’elaborazione necessaria alla percezione e al controllo viene eseguita a bordo del robot. HOUND non richiede un sistema esterno di motion capture, una stazione remota per la stima dello stato o un’infrastruttura collocata intorno al percorso. Il controller utilizza i sensori integrati per osservare l’ambiente, calcolare il movimento e aggiornare in tempo reale la strategia di locomozione.
La gestione dei sensori ha richiesto anche interventi meccanici specifici. Durante i movimenti ad alta velocità e gli impatti più intensi, le sollecitazioni trasmesse alla testa del robot possono superare i 10 g, compromettendo la stabilità delle misurazioni o provocando malfunzionamenti del LiDAR. Il gruppo ha quindi inserito tra la struttura del robot e il sensore un assorbitore di vibrazioni stampato in tre dimensioni.
Il sistema è stato verificato attraverso percorsi indoor comprendenti scale, ostacoli rialzati, pietre di appoggio, aperture e dislivelli, per poi essere trasferito in ambienti esterni. Le prove hanno incluso aree urbane del campus di KAIST e percorsi naturali caratterizzati da erba, ghiaia, foglie, radici esposte, pendenze, rami e tronchi caduti.
Durante gli esperimenti HOUND ha modificato autonomamente le proprie capacità motorie senza interrompere l’avanzamento. Il robot ha accelerato sui tratti percorribili, adattato la posizione delle zampe alle superfici irregolari e utilizzato movimenti più dinamici quando la geometria degli ostacoli richiedeva una fase di salto o una variazione rapida del passo.
Nei percorsi accidentati il sistema ha raggiunto una velocità massima istantanea di 6 metri al secondo, equivalente a circa 21,6 chilometri orari. Il dato riguarda picchi registrati durante manovre dinamiche e discese da ostacoli, non una velocità costante mantenuta lungo l’intero percorso.
La rilevanza del risultato non dipende quindi esclusivamente dalla velocità massima, ma dalla possibilità di conservarla all’interno di un sistema percettivo capace di affrontare ostacoli differenti con un’unica politica. HOUND non esegue una semplice corsa predefinita su una superficie conosciuta, ma modifica il comportamento utilizzando soltanto la percezione e il calcolo disponibili a bordo.
L’architettura è stata verificata preliminarmente anche su piattaforme robotiche differenti, tra cui Unitree Go1 e ANYmal, oltre che su HOUND configurato per modalità di locomozione bipede. Questa applicabilità indica che il metodo non è strettamente vincolato alla struttura meccanica di un solo robot, anche se ogni piattaforma richiede un addestramento compatibile con la propria dinamica, i propri attuatori e la propria configurazione sensoriale.
APT-RL separa inoltre la costruzione delle abilità motorie dalla fase nella quale il sistema deve utilizzarle per affrontare un compito complesso. Le capacità apprese durante il preaddestramento diventano basi riutilizzabili, riducendo la quantità di esplorazione necessaria quando il controller viene addestrato su un nuovo terreno o su una diversa combinazione di ostacoli.
La disponibilità di abilità preliminari di elevata qualità rende più efficiente l’apprendimento delle attività successive e limita la dipendenza da grandi raccolte di movimenti ottenute attraverso registrazioni reali. Il modello può partire da traiettorie già compatibili con la locomozione quadrupede e concentrarsi sulla selezione, sull’adattamento e sulla transizione tra le diverse capacità.
Il controllo sviluppato da KAIST fornisce così una base per robot quadrupedi destinati a ispezioni industriali, ricognizione, esplorazione e interventi in aree difficilmente accessibili. Per svolgere missioni completamente autonome su lunghe distanze saranno necessari ulteriori livelli dedicati alla navigazione, alla pianificazione a lungo termine e alla comprensione semantica dell’ambiente, ma APT-RL risolve una parte essenziale del problema: trasformare la percezione locale del terreno in una sequenza continua di movimenti rapidi, stabili e adattabili.