La scorsa settimana, la sussidiaria di Alphabet, DeepMind ha aperto Lab2D, che i ricercatori hanno spiegato essere un simulatore di ambiente scalabile per la ricerca sull’intelligenza artificiale, aiutandoli a creare ambienti 2D per la ricerca AI e ML. I ricercatori affermano che facilita la sperimentazione guidata dai ricercatori con la progettazione dell’ambiente, aiutandoli anche a comprendere l’influenza degli ambienti nell’apprendimento di rinforzo multi-agente.
Sebbene sia stato costruito tenendo presenti le esigenze specifiche dei ricercatori di apprendimento di rinforzo profondo multi-agente , può essere utilizzato oltre quel particolare sottocampo. In questo articolo, diamo uno sguardo più approfondito a cosa sia DeepMind Lab2D e come può aiutare i ricercatori di intelligenza artificiale.
Immergersi più a fondo in Lab2D
Come spiegano i ricercatori nel documento , DeepMind Lab2D (o “DMLab2D” in breve) è una piattaforma per la creazione di ambienti “grid-world” bidimensionali, stratificati e discreti, in cui i pezzi – che possono essere paragonati a pezzi degli scacchi su una scacchiera – muoviti. Questo sistema è particolarmente adatto per l’apprendimento per rinforzo multi-agente.
L’uso dell’IA nell’apprendimento per rinforzo (RL) sta aumentando a un ritmo rapido ed è necessario disporre di standard rigorosi in termini di correttezza, scala, riproducibilità ed eticità al fine di garantire la continua ricerca nello spazio. Gli ambienti di simulazione per RL svolgono un ruolo cruciale e la fornitura di una solida piattaforma di simulazione consente l’esplorazione in silico dell’apprendimento degli agenti, l’acquisizione di competenze e una misurazione accurata. DMLab2D promette di garantire proprio questo supportando un’ampia gamma di progetti di ricerca.
Spiegando ulteriormente le sue caratteristiche principali, i ricercatori hanno affermato che si tratta di un motore ad alta intensità di calcolo che è scritto in C ++ per l’efficienza, mentre la maggior parte della sua logica specifica del livello è scritta in Lua. Non è solo facile da usare, ma garantisce prestazioni supportando più giocatori simultanei che interagiscono nello stesso ambiente, che può essere controllato da persone o computer.
“Ogni giocatore può avere una visione personalizzata del mondo che rivela o oscura informazioni particolari. Questo può essere usato per giochi di informazione imperfetta, in cui i giocatori non condividono conoscenze comuni, così come per esperimenti comportamentali umani in cui lo sperimentatore può vedere lo stato globale dell’ambiente mentre l’episodio sta progredendo “, ha osservato il documento di ricerca.
Inoltre, DMLab2D fornisce altre funzionalità, come:
Osservazioni: consente ai ricercatori di aggiungere informazioni specifiche dall’ambiente alle osservazioni prodotte in ogni fase temporale.
Eventi: sono simili alle osservazioni ma non sono legati a fasi temporali, ma vengono attivati su condizioni specifiche.
API delle proprietà: fornisce un modo per leggere e scrivere i parametri dell’ambiente, in genere parametri che cambiano raramente.
I ricercatori ritengono che a differenza di altri framework come GVGAI, Griddle, Pommerman, BabyAI e microRTS che esistono da anni, Lab2D è un passo verso solide piattaforme di simulazione che potrebbero consentire l’apprendimento, l’acquisizione di abilità e la misurazione dei sistemi di intelligenza artificiale su larga scala.
Come aiuterà i ricercatori di intelligenza artificiale
Lavorare in un ambiente 2D è intrinsecamente più facile rispetto a quelli 3D, sia in termini di complessità che di espressività, rendendo più facile catturare l’essenza dei problemi e dei concetti nell’IA.
Uno dei vantaggi significativi è che fornisce un facile da progettare e programmare rispetto alle controparti 3D. Ciò è particolarmente vero quando il mondo 3D sfrutta effettivamente lo spazio o le dinamiche fisiche oltre le capacità di quelli 2D. I mondi 2D non richiedono risorse 3D complesse per essere evocativi, né richiedono ragionamenti su shader, illuminazione e proiezioni.
“La ricca complessità lungo numerose dimensioni può essere studiata in 2D con la stessa rapidità con cui in 3D, se non di più”, hanno osservato i ricercatori nel documento. Permette anche di studiare fenomeni come la navigazione, il ragionamento astratto e l’esplorazione con molta facilità. Inoltre, il documento ha suggerito che i ricercatori in RL hanno bisogno di discretizzare le interazioni e le osservazioni in modo che diventino trattabili. Uno scenario 2D può anche catturare la complessità rilevante a portata di mano senza la necessità di ambienti fisici a tempo continuo.
Alcuni degli altri vantaggi sono che i mondi 2D consumano meno risorse e non richiedono hardware specializzato come le GPU per ottenere le prestazioni. Una migliore scalabilità ed economicità sono altri vantaggi.
Avvolgendo
È interessante notare che DeepMind ha lavorato rigorosamente nel campo dell’apprendimento per rinforzo, come l’introduzione di metodi per scegliere la migliore politica nell’apprendimento per rinforzo offline e la proposta di nuovi approcci per accelerare lo sviluppo di soluzioni in problemi di rinforzo complessi.
Ora, l’open-sourcing della tecnologia Lab2D aiuterà le aziende che stanno conducendo ricerche sull’IA basate sull’apprendimento per rinforzo ad avanzare verso il successo in modo più efficiente. Fornisce un passo verso la creazione di solide piattaforme di simulazione per facilitare l’apprendimento, l’acquisizione di competenze e la misurazione dei sistemi di IA su larga scala. Il fatto che possa supportare un’ampia gamma di progetti rende inoltre probabile che venga utilizzato dai ricercatori nei loro progetti. “Siamo entusiasti di vedere cosa la comunità di ricerca lo utilizza per costruire in futuro”, hanno detto i ricercatori in una nota conclusiva
