I ricercatori guardano agli animali per dare un senso comune ai sistemi di apprendimento per rinforzo
I ricercatori di intelligenza artificiale di istituti come l’Imperial College di Londra, l’Università di Cambridge e Google DeepMind cercano ispirazione negli animali su come migliorare le prestazioni dei sistemi di apprendimento per rinforzo . In un documento congiunto pubblicato su CellPress Reviews , intitolato “Intelligenza artificiale e senso comune degli animali”, i ricercatori sostengono che la cognizione animale fornisce utili parametri di riferimento e metodi di valutazione per gli agenti di apprendimento per rinforzo e può anche informare l’ingegneria di compiti e ambienti.
I ricercatori e gli ingegneri di intelligenza artificiale hanno a lungo cercato ispirazione nelle reti neurali biologiche durante la progettazione di algoritmi, utilizzando i principi della scienza comportamentale e delle neuroscienze per informare la struttura degli algoritmi. Tuttavia, la maggior parte degli spunti che i ricercatori di intelligenza artificiale prendono dai campi delle neuroscienze / scienze del comportamento sono basati sugli esseri umani, con la cognizione dei bambini piccoli e dei neonati che funge da punto focale. I ricercatori di intelligenza artificiale devono ancora prendere molta ispirazione dai modelli animali, ma la cognizione animale è una risorsa non sfruttata che ha il potenziale per portare a importanti scoperte nello spazio dell’apprendimento per rinforzo.
I sistemi di apprendimento per rinforzo profondo vengono addestrati attraverso un processo di tentativi ed errori, rinforzato con ricompense ogni volta che un agente di apprendimento per rinforzo si avvicina al completamento di un obiettivo desiderato. Questo è molto simile a insegnare a un animale a svolgere un compito desiderato usando il cibo come ricompensa. Biologi e specialisti in cognizione animale hanno condotto molti esperimenti per valutare le capacità cognitive di una varietà di animali diversi, inclusi cani, orsi, scoiattoli, maiali, corvi, delfini, gatti, topi, elefanti e polpi. Molti animali mostrano impressionanti dimostrazioni di intelligenza e alcuni animali come elefanti e delfini possono persino avere una teoria della mente.
Osservare il corpo di ricerca svolto sulla cognizione animale potrebbe ispirare i ricercatori di intelligenza artificiale a considerare i problemi da diverse angolazioni. Poiché l’apprendimento per rinforzo profondo è diventato più potente e sofisticato, i ricercatori di intelligenza artificiale specializzati nel campo stanno cercando nuovi modi per testare le capacità cognitive degli agenti di apprendimento per rinforzo. Nel documento di ricerca, il gruppo di ricerca fa riferimento ai tipi di esperimenti condotti con primati e uccelli, menzionando che mirano a progettare sistemi in grado di svolgere simili tipi di compiti, dando a un’IA una sorta di ” buon senso “. Secondo gli autori dell’articolo, “sostengono un approccio in cui gli agenti RL, forse con architetture non ancora sviluppate, acquisiscono ciò che è necessario attraverso un’interazione estesa con ricchi ambienti virtuali”.
Come riportato da VentureBeat , i ricercatori dell’IA sostengono che il buon senso non è un tratto unico degli esseri umani e che dipende dalla comprensione delle proprietà di base del mondo fisico, come il modo in cui un oggetto occupa un punto e uno spazio, quali vincoli lì sono sui movimenti di quell’oggetto e un apprezzamento per causa ed effetto. Gli animali mostrano questi tratti negli studi di laboratorio. Ad esempio, i corvi capiscono che gli oggetti sono cose permanenti, poiché sono in grado di recuperare i semi anche quando il seme è nascosto da loro, coperto da un altro oggetto.
Al fine di dotare un sistema di apprendimento per rinforzo con queste proprietà, i ricercatori sostengono che avranno bisogno di creare attività che, se abbinate alla giusta architettura, creeranno agenti in grado di trasferire i principi appresi ad altri compiti. I ricercatori sostengono che l’addestramento per un tale modello dovrebbe coinvolgere tecniche che richiedono che un agente acquisisca la comprensione di un concetto dopo essere stato esposto solo a pochi esempi, chiamato addestramento a pochi colpi. Ciò è in contrasto con le tradizionali centinaia o migliaia di prove che tipicamente rientrano nella formazione per tentativi ed errori di un agente RL.
Il team di ricerca prosegue spiegando che mentre alcuni moderni agenti RL possono imparare a risolvere più compiti, alcuni dei quali richiedono il trasferimento di base dei principi appresi, non è chiaro che gli agenti RL possano apprendere un concetto astratto al “buon senso” . Se ci fosse un agente potenzialmente in grado di apprendere un tale concetto, avrebbero bisogno di test in grado di accertare se un agente RL ha compreso il concetto di contenitore.
DeepMind, in particolare, è entusiasta di impegnarsi con modi nuovi e diversi di sviluppare e testare agenti di apprendimento per rinforzo. Recentemente, alla conferenza Stanford HAI che si è svolta all’inizio di ottobre, il capo della ricerca neuroscientifica di DeepMind, Matthew Botvinick, ha esortato i ricercatori e gli ingegneri del machine learning a collaborare maggiormente in altri campi della scienza. Botvinick ha sottolineato l’importanza del lavoro interdisciplinare con psicologi e neuroscienze per il campo dell’IA in un discorso intitolato “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.
