Nel 2019, Facebook AI Habitat open-source , un simulatore in grado di addestrare sistemi di intelligenza artificiale che incorporano cose come un robot domestico per operare in ambienti pensati per imitare le impostazioni del mondo reale, come appartamenti e uffici. Oggi Facebook ha annunciato di aver esteso le capacità di Habitat per renderlo “ordini di grandezza” più veloce di altri simulatori 3D disponibili, consentendo ai ricercatori di eseguire compiti più complessi nella simulazione, come apparecchiare la tavola e rifornire il frigorifero. In concomitanza con ciò, Facebook ha collaborato con la società di acquisizione spaziale 3D Matterport per rendere open source quello che afferma essere il più grande set di dati di scansioni 3D per interni fino ad oggi.
I modelli di intelligenza artificiale nella visione artificiale e nel linguaggio naturale sono in genere addestrati con testo, immagini, audio e video da Internet. Ma l’ intelligenza artificiale incorporata – lo sviluppo di sistemi con un’incarnazione fisica o virtuale, come i robot – ha esigenze diverse. Le attività di intelligenza artificiale richiedono che i sistemi interagiscano con il mondo fisico, riconoscendo oggetti diversi da qualsiasi angolazione per distinguere, ad esempio, tra un piano di lavoro e una scrivania. Per sviluppare in sicurezza questo tipo di robot e assistenti personali, afferma Facebook, devono essere addestrati in spazi simulati ricchi e realistici.
Miglioramenti delle prestazioni
Il concetto di IA incarnata si basa sulla cognizione incarnata, la teoria secondo cui molte caratteristiche della psicologia, umane o meno, sono modellate da aspetti dell’intero corpo di un organismo. Applicando questa logica all’intelligenza artificiale, i ricercatori sperano di migliorare le prestazioni dei sistemi di intelligenza artificiale come chatbot, robot, veicoli autonomi e persino altoparlanti intelligenti che interagiscono con i loro ambienti, le persone e altre IA. Un robot veramente incarnato potrebbe verificare se una porta è chiusa a chiave, ad esempio, o recuperare uno smartphone che sta squillando in una camera da letto al piano di sopra.
Habitat è stato progettato per far avanzare questo, ma la versione più recente – Habitat 2.0 – migliora l’originale in modi chiave. Introduce ReplicaCAD, un set di dati 3D riconfigurabile creato da un artista di appartamenti che abbina spazi reali con oggetti che possono aprirsi e chiudersi, come armadi e cassetti. E viene fornito con Home Assistant Benchmark, una suite di attività per robot che testano una serie di capacità di manipolazione tra cui riordinare la casa, fare la spesa e apparecchiare la tavola.
Facebook afferma che ReplicaCAD, che ha richiesto agli artisti 3D professionisti assunti da Facebook oltre 900 ore per creare, contiene 11 layout su 92 oggetti diversi che spaziano tra mobili, utensili da cucina, libri e altro ancora. Per quanto riguarda l’Home Assistant Benchmark, richiede ai robot di prelevare e posizionare oggetti da prese come banconi, lavelli e divani, nonché di aprire e chiudere contenitori come cassetti e frigoriferi, se necessario.
Oltre al nuovo set di dati e benchmark, Habitat 2.0 è molto più favorevole alle prestazioni dell’originale, afferma Facebook, con velocità che superano i 26.000 passaggi di simulazione al secondo, 850 volte in tempo reale (30 passaggi al secondo) su un computer con 8 GPU. Qui, un passaggio si riferisce al rendering di una singola immagine e alla simulazione della dinamica del corpo rigido per 1/30 di secondo. Facebook afferma che è 100 volte più veloce del lavoro precedente, impiegando il tempo di sperimentazione da 6 mesi a meno di 2 giorni. Per riferimento, i simulatori esistenti in genere raggiungono da 10 a 400 passi al secondo.
Habitat 2.0 fa alcuni sacrifici per raggiungere questa velocità, vale a dire una mancanza di supporto per simulare la dinamica non rigida di fluidi, film, tessuti e corde e trasformazioni dello stato fisico come taglio, perforazione, saldatura e fusione. Inoltre, il suo nuovo set di dati, ReplicaCAD, è stato modellato solo su appartamenti negli Stati Uniti, escludendo culture e regioni con layout e tipi di mobili e oggetti diversi. Ma Facebook sostiene che questi sono compromessi utili dato che i miglioramenti delle prestazioni “si traducono direttamente” in accelerazioni dei tempi di addestramento e miglioramenti della precisione dai modelli di addestramento, in particolare per le attività di riorganizzazione degli oggetti, con più esperienza.
“Miriamo a far avanzare l’intero ‘stack di ricerca’ per lo sviluppo di tali agenti incorporati nella simulazione, curando risorse 3D interattive su scala domestica … che supportano lo studio della generalizzazione a oggetti, recipienti e layout domestici invisibili; sviluppare la prossima generazione di simulatori 3D fotorealistici ad alte prestazioni che supportano ambienti interattivi ricchi; [e] la creazione di benchmark rappresentativi impegnativi per consentire confronti riproducibili e monitoraggio sistematico dei progressi nel corso degli anni”, ha scritto il team dietro Habitat 2.0 in un documento che descrive il nuovo simulatore. “Accoppiati ai dati di ReplicaCAD, questi miglioramenti ci consentono di studiare le prestazioni delle [tecniche di intelligenza artificiale] rispetto ai classici… approcci per la suite di impegnativi compiti di riarrangiamento che abbiamo definito”.
Set di dati Habitat-Matterport
Oltre ad Habitat 2.0, Facebook sta rilasciando un set di dati di scansioni 3D di interni co-creati con Matterport: il set di dati di ricerca Habitat-Matterport 3D (HM3D). È una raccolta di 1.000 scansioni compatibili con Habitat composte da spazi residenziali “ridimensionati con precisione” come appartamenti, abitazioni multifamiliari e case unifamiliari, nonché spazi commerciali tra cui edifici per uffici e negozi al dettaglio.
Dhruv Batra, ricercatore presso Facebook AI, ritiene che HM3D svolgerà un “ruolo significativo” nel far progredire la ricerca sull’intelligenza artificiale incorporata. “Con questo set di dati, gli agenti di intelligenza artificiale incorporati come i robot domestici e gli assistenti di intelligenza artificiale possono essere addestrati per comprendere le complessità degli ambienti del mondo reale, riconoscere oggetti, stanze e spazi o imparare a navigare e seguire le istruzioni, il tutto in contesti molto diversi l’uno dall’altro”, ha scritto in un post sul blog. “Per svolgere compiti complessi come trovare oggetti fuori posto o recuperare oggetti fisici, un agente di intelligenza artificiale incarnato deve costruire mappe e rappresentazioni di memoria episodica (per ricordare ciò che ha già osservato), comprendere segnali vocali e audio e mostrare un sofisticato controllo motorio se deve salire e scendere le scale».
In futuro, Facebook afferma che spera di espandere il set di dati per includere scansioni da più paesi e annotazioni che potrebbero aiutare l’intelligenza artificiale a ottenere attività di comprensione di alto livello come il recupero di oggetti. Oltre a ciò, basandosi sulla sua precedente ricerca sull’intelligenza artificiale incorporata , l’azienda mira a studiare ambienti in evoluzione in modo che le simulazioni in simulatori come Habitat 2.0 possano diventare fluide anziché statiche.
“[Le simulazioni dinamiche] avvicinerebbero gli ambienti di allenamento simulati al mondo reale, dove persone e animali domestici si muovono liberamente e dove oggetti di uso quotidiano come telefoni cellulari, portafogli e scarpe non sono sempre nello stesso punto durante il giorno”, ha osservato Batra . “Riteniamo che i progressi nell’intelligenza artificiale potrebbero aiutare gli sviluppatori a creare e formare assistenti con una profonda comprensione contestuale e dare loro la possibilità di navigare nel mondo che li circonda”.
