Il robot insegna a se stesso a camminare attraverso l’apprendimento per rinforzo
Mentre Boston Dynamics e i robot danzanti di solito ricevono la maggior parte dell’attenzione, ci sono alcuni importanti sviluppi in atto dietro le quinte che non ricevono una copertura sufficiente. Uno di questi sviluppi proviene da un laboratorio di Berkeley, dove un robot di nome Cassie è stato in grado di insegnare a se stesso a camminare attraverso l’ apprendimento per rinforzo .
Dopo tentativi ed errori, la coppia di gambe robotiche ha imparato a navigare in un ambiente simulato prima di essere messa alla prova nel mondo reale. Inizialmente, il robot ha dimostrato la capacità di camminare in tutte le direzioni, camminare mentre si accovaccia, riposizionarsi quando viene spinto fuori equilibrio e adattarsi a diversi tipi di superfici.
Mentre i robot come quelli di Boston Dynamics sono estremamente impressionanti e stupiscono quasi tutti coloro che li guardano, ci sono alcuni fattori chiave. In particolare, questi robot sono programmati a mano e coreografati per ottenere il risultato, ma questo non è il metodo preferito nelle situazioni del mondo reale.
Al di fuori del laboratorio, i robot devono essere robusti, resilienti, flessibili e molto altro ancora. Inoltre, devono essere in grado di affrontare e gestire situazioni impreviste, il che può essere fatto solo consentendo loro di gestire tali situazioni da soli.
Zhongyu Li faceva parte del team che lavorava su Cassie presso l’Università di Berkeley.
“Questi video possono indurre alcune persone a credere che questo sia un problema risolto e facile”, dice Li. “Ma abbiamo ancora molta strada da fare per far funzionare e vivere in modo affidabile i robot umanoidi in ambienti umani”.
Apprendimento per rinforzo per un controllo della locomozione parametrizzato robusto di robot bipedi
Insegnamento rafforzativo
Per creare un tale robot, il team di Berkeley si è basato sull’apprendimento per rinforzo, che è stato utilizzato da aziende come DeepMind per addestrare algoritmi per battere gli esseri umani nei giochi più complessi del mondo. L’apprendimento per rinforzo si basa su tentativi ed errori, con il robot che impara dai propri errori.
Il robot Cassie ha utilizzato l’apprendimento per rinforzo per imparare a camminare in una simulazione, che non è la prima volta che viene utilizzato questo approccio. Tuttavia, questo normalmente non esce dall’ambiente simulato e nel mondo reale. Anche una piccola differenza può far sì che il robot non riesca a camminare.
I ricercatori hanno utilizzato due simulazioni anziché una, la prima è un ambiente di formazione open source chiamato MuJoCo. In questa prima simulazione, l’algoritmo ha provato e appreso da una libreria di possibili movimenti e nella seconda simulazione chiamata SimMechanics, il robot li ha testati in condizioni più reali.
Dopo essere stato sviluppato nelle due simulazioni, l’algoritmo non ha avuto bisogno di essere messo a punto. Era già pronto per andare nel mondo reale. Non solo era in grado di camminare, ma era anche in grado di fare molto di più. Secondo i ricercatori, Cassie è stata in grado di riprendersi dopo che due motori nel ginocchio del robot hanno funzionato male.
Anche se Cassie potrebbe non avere tutte le campane ei fischietti come alcuni degli altri robot, è per molti versi molto più impressionante. Ha anche maggiori implicazioni per la tecnologia quando si tratta di utilizzo nel mondo reale, poiché un tale robot ambulante potrebbe essere utilizzato in molti settori diversi.
