ThreeDWorld: piattaforma AI per la simulazione realistica del mondo 3D
In un mondo virtuale, 3DWorld simula la meccanica e la grafica del mondo reale.
Utilizzo di Encoder-Decoder LSTM in stile Horizon univariato per la modellazione di serie temporali
ThreeDWorld: una nuova piattaforma virtuale basata sull’intelligenza artificiale simula un ambiente audiovisivo ricco e interattivo per l’apprendimento umano e robotico, la formazione e gli studi sperimentali utilizzando la fisica del mondo reale.
Sviluppata da accademici del MIT, del MIT-IBM Watson AI Lab, della Harvard University e della Stanford University, la piattaforma dimostra come creare un ricco mondo virtuale simile a quello mostrato in Matrix. ThreeDWorld (TDW, imita gli ambienti audio e visivi ad alta fedeltà, sia interni che esterni, e consente a utenti, oggetti e agenti mobili di interagire come farebbero nella vita reale, governati da leggi fisiche. Quando si verificano interazioni, gli orientamenti, le caratteristiche fisiche , e le velocità di fluidi, corpi molli e oggetti rigidi vengono calcolate e implementate, risultando in collisioni esatte e suoni di impatto.
Cos’è ThreeDWorld?
A differenza di altri programmi per computer, TDW è progettato per essere flessibile e generalizzabile. Foto e suoni sono realizzati in tempo reale e possono essere combinati per creare set di dati audiovisivi e utilizzati sia per gli esseri umani che per le reti neurali per apprendere e prevedere. Possono anche essere modificati attraverso le interazioni nella scena. Inoltre, è possibile creare molti tipi di robot e avatar per pianificare ed eseguire attività nella simulazione controllata. Inoltre, utilizzando la realtà virtuale (VR), l’attenzione e il comportamento di gioco nell’area possono essere utilizzati per ottenere dati del mondo reale.
“Vogliamo costruire una piattaforma di simulazione generica che possa essere utilizzata per un’ampia gamma di applicazioni di intelligenza artificiale”, afferma il ricercatore capo Chuang Gan , ricercatore presso il Watson AI Lab del MIT-IBM.
“Al momento, la maggior parte dell’IA si basa sull’apprendimento supervisionato”, afferma Josh McDermott , professore associato di Brain and Cognitive Sciences (BCS) e responsabile del progetto per il Watson AI Lab del MIT-IBM. Questo tipo di intelligenza artificiale si basa su enormi set di dati di immagini o suoni annotati dagli esseri umani, che non sono prontamente disponibili e consumano molte risorse. Per le caratteristiche fisiche degli oggetti, come la massa, che non sono sempre ovvie per l’uomo, le etichette potrebbero non essere disponibili. Un simulatore come TDW può aggirare questo problema creando scene con parametri e annotazioni specifici. Gli strumenti attualmente disponibili sono molto specifici per le attività. TDW, d’altra parte, può essere utilizzato per molte attività diverse che non sono possibili su altre piattaforme.
TDW è un ambiente controllato che rende più facile capire come apprendono i robot AI e come migliorarli. Quando insegni i sistemi robotici , puoi farlo in un luogo sicuro. “Molti di noi sono entusiasti delle possibilità che questi tipi di mondi virtuali offrono per mettere alla prova i sensi e la mente delle persone. C’è la capacità di fare queste esperienze sensoriali molto ricche pur avendo il controllo completo e la consapevolezza dell’ambiente”, ha aggiunto McDermott.
Come si fa
I ricercatori hanno costruito TDW sulla piattaforma di videogiochi Unity3D Engine. Sono stati in grado di rendere sia i dati visivi che quelli audio senza animazione. La simulazione è composta da due parti: la build, che esegue le immagini, i suoni e le simulazioni fisiche; e il controller, che è un’interfaccia basata su Python attraverso la quale l’utente può inviare comandi alla build.
I ricercatori hanno utilizzato modelli 3D di cose come mobili, animali e automobili per costruire e popolare scene. Questi modelli hanno risposto bene ai cambiamenti nell’illuminazione e nella loro composizione materiale e orientamento nello spazio. Inoltre, il team ha realizzato planimetrie virtuali che potrebbero essere riempite con agenti e avatar dai ricercatori. TDW utilizza modelli generativi di rumori da impatto per produrre un suono che mima collisioni o altre interazioni tra gli oggetti nella simulazione. Inoltre, TDW modella l’attenuazione del rumore e il riverbero in base alla forma dello spazio e alle cose in esso contenute.
