È stata sviluppata una corteccia visiva artificiale per attaccare gli occhi al robot. In un post sul blog, Meta ha annunciato di aver sviluppato “VC-1”, una corteccia visiva artificiale addestrata sul set di dati “Ego4D”, che consiste in migliaia di video che eseguono attività quotidiane.
La corteccia visiva è l’area del cervello che consente agli organismi di convertire le informazioni visive in movimento. Meta ha addestrato il VC-1 con il set di dati Ego4D, che consiste in migliaia di ore di video in prima persona di azioni quotidiane come cucinare e pulire, per riconoscere l’input della telecamera ed eseguire attività senza intervento umano.
Lo sviluppo di una tale corteccia visiva artificiale dovrebbe portare alla creazione di agenti di intelligenza artificiale generici in grado di interagire con il mondo reale senza l’intervento umano.
Tuttavia, affinché un robot funzioni davvero da solo, deve essere in grado di manipolare oggetti. Per fare ciò, include una serie di processi per spostarsi su un oggetto, sollevarlo, spostarlo in un’altra posizione e posarlo sulla base di input visivi e uditivi.
Per affrontare questo problema, Mehta ha collaborato con gli esperti della Georgia Tech per sviluppare un nuovo metodo chiamato Adaptive Skill Coordination (ASC). ASC è un metodo per addestrare i robot in un ambiente simulato e quindi distribuire tali abilità ai robot del mondo reale.
L’efficacia di questo metodo è stata dimostrata in collaborazione con Boston Dynamics. ASC è stato integrato con il robot “Spot” di Boston Dynamics e la tecnologia ASC è stata testata con il simulatore “Habitat”. Abbiamo utilizzato scansioni 3D indoor costruite con HM3D e il set di dati “ReplicaCAD”.
Il robot Spot è stato addestrato per muoversi in una strana casa, raccogliere oggetti fuori posto e metterli nel posto giusto. I robot spot addestrati in questo modo sono stati in grado di eseguire automaticamente lo stesso compito.
Meta rilascerà il modello VC-1 come open source e condividerà i dettagli su come espandere le dimensioni del modello e del set di dati.