Come un videogioco retrò è finito come una sfida definitiva per l’IA
Il gioco è a tempo indeterminato: questo significa che ogni volta che un individuo ci gioca, il gioco ricomincia da zero in un mondo completamente nuovo.
L’intelligenza artificiale è stata impiegata per risolvere i giochi per decenni. I giochi sono ottimi banchi di prova per l’apprendimento per rinforzo, e questo è stato fatto con i modelli di apprendimento automatico per un po’ di tempo ormai. Ad esempio, attraverso i modelli DQN , l’intelligenza artificiale ha superato gli umani mentre giocava a giochi come Flappy Bird, un tempo molto popolare . Tali test di intelligenza artificiale sono stati eseguiti anche su classici come gli scacchi e il gioco Snake per dispositivi mobili .
Data l’abilità dell’intelligenza artificiale nel decifrare i giochi attraverso l’apprendimento per rinforzo, i ricercatori dell’ala AI di Facebook hanno deciso di sfruttare l’intelligenza artificiale per svelare quello che è considerato tra i giochi più impegnativi al mondo: l’immensamente complicato NetHack .
Un gioco difficile
NetHack ha fatto il suo debutto nel 1987 e ha una grafica ingannevolmente semplice. È un gioco di avventura ‘dungeon crawler’ a turni dotato di grafica ASCII e scritto principalmente in C. I giocatori devono attraversare più di cinquanta livelli di dungeon per recuperare un amuleto magico con l’aiuto di diversi strumenti (e combattere i mostri lungo la strada ). Il gioco sembra abbastanza semplice: con un’atmosfera retrò e simboli come @ per visualizzare i giocatori, g per mostrare un goblin, $ per indicare l’oro e linee e punti per l’architettura del gioco. Tuttavia, NetHack è in fase di sviluppo attivo da quando è arrivato alla fine degli anni ’80, con un team di sviluppatori in continua evoluzione che si espandeva su diverse sfaccettature del gioco. In questo modo sono stati consentiti codici scritti a mano che coprivano tutte le possibili scelte del giocatore.
Questo, alla fine, ha reso NetHack la nuova sfida complicata ma affascinante che è oggi. Il gioco è a tempo indeterminato: ciò significa che ogni volta che un individuo ci gioca, il gioco ricomincia da zero in un mondo completamente nuovo. Le sfide in NetHack potrebbero variare da labirinti casuali a stanze piene di mostri o trappole pericolose. Vincere tali difficoltà, insieme alla varietà di modi in cui i giocatori possono interagire con oggetti e creature nel gioco, richiede una pianificazione effettiva e affidandosi all’istinto raccolto dai giochi precedenti e, a volte, anche a fonti esterne come NetHack Wiki e discussioni del forum online.
Questa natura complicata del modo in cui NetHack genera il suo gioco ha spinto molti a provare a sviluppare sistemi di apprendimento automatico in grado di decifrare il gioco. Molti hanno progettato bot per giocare a NetHack con modelli che vanno dalle reti neurali agli alberi decisionali. Tali test dell’IA, in particolare i metodi di apprendimento per rinforzo, potrebbero aiutare a spingere i limiti di generalizzazione degli attuali sistemi di IA all’avanguardia. Un giocatore di spicco che incoraggia il test dell’intelligenza artificiale su NetHack è Facebook.
Una competizione interessante
La Conferenza sui sistemi di elaborazione delle informazioni neurali (NeurIPS) è una delle più grandi conferenze di intelligenza artificiale al mondo. A NeurIPS 2020, Facebook AI ha reso open-source il NetHack Learning Environment ( NLE ) NLE si basa su NetHack 3.6.6 ed è progettato per fornire un’interfaccia di apprendimento di rinforzo a NetHack. Attraverso NLE, Facebook ha affermato di voler stabilire il gioco come una delle prossime grandi sfide per i ricercatori nel campo dell’apprendimento automatico e del processo decisionale. L’NLE comprende tre componenti: un’interfaccia Python per NetHack tramite OpenAI Gym API, una suite di attività di benchmark per misurare i progressi degli agenti e un agente di base.
Per NeurIPS 2021, Facebook ha piazzato la NeurIPS 2021 NetHack Challenge . Invita i ricercatori a progettare e addestrare sistemi di intelligenza artificiale in grado di battere in modo affidabile il gioco o, in ciò che molti considerano più probabile che accada, ottenere un punteggio il più alto possibile. La competizione, che sarà condotta in collaborazione con AICrowd, si svolgerà dall’inizio di giugno al 15 ottobre 2021 e i risultati saranno annunciati durante la principale conferenza NeurIPS a dicembre di quest’anno.
Fonte: Facebook AI
La sfida richiede ai partecipanti di creare agenti, indipendentemente da come (i partecipanti sono anche invitati a utilizzare metodi al di fuori dell’apprendimento automatico), che possono giocare una partita completa di NetHack. I concorrenti devono utilizzare il proprio hardware, ma le squadre saranno valutate in un ambiente controllato, dove gli agenti giocheranno diversi giochi, ognuno dei quali avrà un ruolo del personaggio generato casualmente e una razza fantasy. Per ogni data serie di episodi di valutazione per agente, verrà calcolato il numero medio di episodi in cui l’agente ha completato il gioco (insieme al punteggio medio durante il gioco e alla fine dell’episodio). Infine, ci saranno tre tracce di competizione e i concorrenti verranno automaticamente classificati per qualsiasi traccia si qualificheranno. Le tracce sono:
Miglior agente generale: tutte le candidature saranno idonee per questo.
Il miglior agente che non utilizza una rete neurale
Miglior agente di un team accademico/indipendente: per gli agenti con le migliori prestazioni provenienti da team guidati da ricercatori non affiliati al settore.
I team più performanti (per ogni traccia) saranno invitati a inviare i loro video di metodo per NeurIPS 2021 e avranno la possibilità di partecipare alla stesura di un report post-gara.
Cosa potrebbe significare questo per l’IA?
Aram Doyee, un ricercatore di intelligenza artificiale, stava lavorando a una piattaforma di visione artificiale basata sull’intelligenza artificiale per supportare le persone non vedenti nello svolgimento delle loro attività quotidiane e nella navigazione nel loro ambiente senza incontrare ostacoli. Ha deciso di lavorare su simulazioni invece che su dati del mondo reale per testare i suoi strumenti, grazie alla capacità dei simulatori di generare molti dati senza i costi e il tempo necessari per raccogliere dati di alta qualità e del mondo reale. Doyee non è riuscito a trovare un simulatore adatto al suo problema finché non si è imbattuto in GTA-V, un popolare gioco di azione e avventura open world. Il gioco gli ha fornito una simulazione realistica dell’ambiente urbano e gli ha permesso di estrarre informazioni preziose. Ha detto di essere riuscito a estrarre i frame RGB dai giochi, insieme a preziose informazioni sulla segmentazione delle istanze, mappe di profondità e flussi ottici.
I videogiochi possono consentire agli sviluppatori di estrarre set di dati dall’aspetto realistico fornendo al contempo algoritmi ML e tecniche di ottimizzazione all’avanguardia. RL ha guadagnato molta popolarità quando AlphaGo, un’intelligenza artificiale sviluppata da Deepmind, è stata creata per giocare contro il signor Lee Sedol, considerato il più grande giocatore di Go, e ha vinto 4 a 1 in un campionato del mondo 2016.
Attraverso questa competizione, Facebook spera di mostrare l’NLE come un sistema RL praticabile e desidera abilitare più soluzioni AI/ML. In uno sviluppo positivo, l’insolita impostazione della grafica di base e il gameplay complesso che NetHack fornisce consente un addestramento più rapido degli agenti RL (di 15 volte) rispetto al benchmark Atari. Inoltre, l’utilizzo di simboli al posto dei pixel consente all’intelligenza artificiale di apprendere rapidamente senza sprecare risorse computazionali sulle dinamiche di simulazione, che possono essere piuttosto costose. D’altra parte, una singola GPU di fascia alta può addestrare agenti NetHack basati sull’intelligenza artificiale su centinaia di milioni di passaggi al giorno attraverso il framework TorchBeast, che supporta un’ulteriore scalabilità attraverso l’aggiunta di più GPU. Ciò fornisce all’agente sufficiente esperienza per apprendere, consentendo ai ricercatori di dedicare più tempo a testare nuove idee invece di aspettare che i risultati tornino. Facebook crede anche che rendere NLE open-source democratizza la ricerca, specialmente in ambienti con scarse risorse. NetHack, quindi, consente una sfida che può aiutare a costruire metodi migliori senza gli elevati costi computazionali di altri ambienti di simulazione impegnativi.
Come accennato in precedenza, i giochi sono stati usati come benchmark per l’IA per un po’ di tempo. Questi sviluppi non si limitano a migliorare il design del gioco o aiutano a capire come decifrare questi giochi impegnativi. Invece, aiutano ad affinare le prestazioni dei modelli e a migliorarli abbastanza da diagnosticare un giorno malattie o prevedere strutture proteiche complicate. Questi giochi, incluso NetHack, utilizzano l’apprendimento per rinforzo, un campo vitale anche per i sistemi di controllo del traffico, aiutando con portafogli finanziari e sviluppando auto a guida autonoma. Secondo Facebook AI, “I recenti progressi nell’apprendimento per rinforzo sono stati alimentati dagli ambienti di simulazione” di giochi come Minecraft o Starcraft II. Questi recenti sviluppi che circondano NetHack incoraggiano ulteriormente questi progressi nei sistemi RL considerando anche ambienti complessi,
Data la rapida evoluzione dell’intelligenza artificiale, la necessità di dati di alta qualità è diventata più urgente che mai. Con l’industria dei giochi che progredisce simultaneamente, ha senso che i ricercatori sfruttino i giochi come strumenti di simulazione per RL e ricerca sulla visione artificiale.
