Una nuova ricerca suggerisce che i cervelli artificiali potrebbero trarre beneficio dal sonno
Una nuova ricerca proveniente dal Los Alamos National Laboratory suggerisce che i cervelli artificiali quasi certamente beneficiano di periodi di riposo come i cervelli viventi.
La ricerca sarà presentata oggi al Workshop Women in Computer Vision a Seattle il 14 giugno.
Yijing Watkins è un informatico del Los Alamos National Laboratory.
“Studiamo reti neurali spigolose, che sono sistemi che imparano molto come fanno i cervelli viventi”, ha detto Watkins. “Siamo rimasti affascinati dalla prospettiva di allenare un processore neuromorfo in un modo analogo a come gli esseri umani e altri sistemi biologici apprendono dal loro ambiente durante lo sviluppo dell’infanzia”.
Risoluzione dell’instabilità nelle simulazioni di rete
Watkins e il team hanno scoperto che periodi continui di apprendimento senza supervisione hanno portato all’instabilità nelle simulazioni di rete. Tuttavia, una volta che il team ha introdotto le reti negli stati che sono il risultato delle onde che il cervello vivente sperimenta durante il sonno, la stabilità è stata ripristinata.
“Era come se stessimo dando alle reti neurali l’equivalente di una buona notte di riposo”, ha detto Watkins.
Il team ha fatto la scoperta mentre stava lavorando allo sviluppo di reti neurali basate su come gli umani e altri sistemi biologici imparano a vedere. Il team ha dovuto affrontare alcune sfide quando si trattava di stabilizzare le reti neurali simulate che stavano subendo un addestramento del dizionario senza supervisione. La formazione del dizionario senza supervisione comporta la classificazione di oggetti senza avere esempi precedenti da utilizzare per il confronto.
Garrett Kenyon è un informatico di Los Alamos e studia coautore.
“Il problema di come mantenere instabili i sistemi di apprendimento si pone in realtà solo quando si tenta di utilizzare processori neuromorfici biologicamente realistici, o quando si cerca di comprendere la biologia stessa”, ha affermato Kenyon. “La stragrande maggioranza dei ricercatori di machine learning , deep learning e AI non si imbatte mai in questo problema perché nei sistemi molto artificiali che studiano hanno il lusso di eseguire operazioni matematiche globali che hanno l’effetto di regolare il guadagno dinamico complessivo del sistema.”
Dormi come soluzione dell’ultima risorsa
Secondo i ricercatori, esporre le reti a un analogo artificiale del sonno è stata la loro ultima risorsa per stabilizzarle. Dopo aver sperimentato diversi tipi di rumore, che è simile allo statico tra le stazioni di una radio, i risultati migliori sono arrivati dalle onde del rumore gaussiano. Questo tipo di rumore comprende un’ampia varietà e gamme di frequenze e ampiezze.
I ricercatori hanno avuto l’ipotesi che durante il sonno ad onde lente il rumore imiti l’input ricevuto dai neuroni biologici. I risultati hanno suggerito che il sonno ad onde lente potrebbe svolgere un ruolo nel garantire che i neuroni corticali non soffrano di allucinazioni e mantengano la loro stabilità.
Il team ora lavorerà sull’implementazione dell’algoritmo sul chip neuromorfo Intel Loihi, sperando che il sonno lo aiuti a elaborare in modo stabile le informazioni da una fotocamera a retina di silicio in tempo reale. Se la ricerca determina che i cervelli artificiali beneficiano del sonno, lo stesso vale probabilmente per gli androidi e altre macchine intelligenti.
Fonte: utilizzo del rumore modulato sinusoidalmente come surrogato del sonno ad onde lente per realizzare l’apprendimento del dizionario senza supervisione stabile in un modello di codifica sparsa basato su picchi, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, Stati Uniti)
