Il nuovo hardware offre un calcolo più veloce per l’intelligenza artificiale, con molta meno energia
Gli ingegneri che lavorano sull'”apprendimento profondo analogico” hanno trovato un modo per spingere i protoni attraverso i solidi a velocità senza precedenti.
CAMBRIDGE, MA — Mentre gli scienziati spingono i confini dell’apprendimento automatico, la quantità di tempo, energia e denaro necessari per addestrare modelli di reti neurali sempre più complessi sta salendo alle stelle. Una nuova area dell’intelligenza artificiale chiamata deep learning analogico promette un calcolo più veloce con una frazione del consumo di energia.
I resistori programmabili sono gli elementi costitutivi chiave del deep learning analogico, proprio come i transistor sono gli elementi fondamentali per i processori digitali. Ripetendo array di resistori programmabili in strati complessi, i ricercatori possono creare una rete di “neuroni” e “sinapsi” artificiali analogici che eseguono calcoli proprio come una rete neurale digitale. Questa rete può quindi essere addestrata per svolgere attività di intelligenza artificiale complesse come il riconoscimento delle immagini e l’elaborazione del linguaggio naturale.
Un team multidisciplinare di ricercatori del MIT ha deciso di spingere i limiti di velocità di un tipo di sinapsi analogica creata dall’uomo che avevano precedentemente sviluppato. Hanno utilizzato un materiale inorganico pratico nel processo di fabbricazione che consente ai loro dispositivi di funzionare 1 milione di volte più velocemente rispetto alle versioni precedenti, che è anche circa 1 milione di volte più veloce delle sinapsi nel cervello umano.
Inoltre, questo materiale inorganico rende il resistore estremamente efficiente dal punto di vista energetico. A differenza dei materiali utilizzati nella versione precedente del loro dispositivo, il nuovo materiale è compatibile con le tecniche di fabbricazione del silicio. Questa modifica ha consentito la fabbricazione di dispositivi su scala nanometrica e potrebbe aprire la strada all’integrazione nell’hardware di elaborazione commerciale per applicazioni di apprendimento profondo.
“Con questa intuizione chiave e le potentissime tecniche di nanofabbricazione di cui disponiamo al MIT.nano, siamo stati in grado di mettere insieme questi pezzi e dimostrare che questi dispositivi sono intrinsecamente molto veloci e funzionano con voltaggi ragionevoli”, afferma l’autore senior Jesús A. del Alamo, il Professor Donner presso il Dipartimento di Ingegneria Elettrica e Informatica (EECS) del MIT. “Questo lavoro ha davvero portato questi dispositivi a un punto in cui ora sembrano davvero promettenti per le applicazioni future”.
“Il meccanismo di funzionamento del dispositivo è l’inserimento elettrochimico dello ione più piccolo, il protone, in un ossido isolante per modulare la sua conduttività elettronica. Poiché stiamo lavorando con dispositivi molto sottili, potremmo accelerare il movimento di questo ione utilizzando un forte campo elettrico e spingere questi dispositivi ionici al regime di funzionamento dei nanosecondi”, spiega l’autore senior Bilge Yildiz, professore di Breene M. Kerr nel dipartimenti di Scienze e Ingegneria Nucleari e Scienza e Ingegneria dei Materiali.
“Il potenziale d’azione nelle cellule biologiche aumenta e diminuisce con una scala temporale di millisecondi, poiché la differenza di tensione di circa 0,1 volt è vincolata dalla stabilità dell’acqua”, afferma l’autore senior Ju Li, professore di scienze e ingegneria nucleare della Battelle Energy Alliance e professore di scienza dei materiali e ingegneria, “Qui applichiamo fino a 10 volt su uno speciale film di vetro solido di spessore nanometrico che conduce i protoni, senza danneggiarlo permanentemente. E più forte è il campo, più veloci saranno i dispositivi ionici”.
Questi resistori programmabili aumentano notevolmente la velocità di addestramento di una rete neurale, riducendo drasticamente i costi e l’energia per eseguire tale addestramento. Ciò potrebbe aiutare gli scienziati a sviluppare modelli di deep learning molto più rapidamente, che potrebbero quindi essere applicati in usi come auto a guida autonoma, rilevamento di frodi o analisi di immagini mediche.
“Una volta che avrai un processore analogico, non dovrai più addestrare le reti su cui stanno lavorando tutti gli altri. Formerai reti con complessità senza precedenti che nessun altro può permettersi, e quindi le supererai di gran lunga tutte. In altre parole, questa non è un’auto più veloce, questa è un’astronave”, aggiunge l’autore principale e postdottorato del MIT Murat Onen.
I coautori includono Frances M. Ross, la professoressa Ellen Swallow Richards presso il Dipartimento di Scienza e Ingegneria dei Materiali; postdoc Nicolas Emond e Baoming Wang; e Difei Zhang, una studentessa laureata EECS. La ricerca è pubblicata oggi su Science .
Accelerare il deep learning
Il deep learning analogico è più veloce ed efficiente dal punto di vista energetico rispetto alla sua controparte digitale per due motivi principali. “In primo luogo, il calcolo viene eseguito in memoria, quindi enormi carichi di dati non vengono trasferiti avanti e indietro dalla memoria a un processore”. Anche i processori analogici eseguono operazioni in parallelo. Se la dimensione della matrice si espande, un processore analogico non ha bisogno di più tempo per completare nuove operazioni perché tutti i calcoli avvengono contemporaneamente.
L’elemento chiave della nuova tecnologia del processore analogico del MIT è noto come resistore programmabile protonico. Questi resistori, che sono misurati in nanometri (un nanometro è un miliardesimo di metro), sono disposti in una matrice, come una scacchiera.
Nel cervello umano, l’apprendimento avviene a causa del rafforzamento e dell’indebolimento delle connessioni tra i neuroni, chiamate sinapsi. Le reti neurali profonde hanno adottato da tempo questa strategia, in cui i pesi della rete sono programmati tramite algoritmi di addestramento. Nel caso di questo nuovo processore, l’aumento e la diminuzione della conduttanza elettrica dei resistori protonici consente l’apprendimento automatico della macchina analogica.
La conduttanza è controllata dal movimento dei protoni. Per aumentare la conduttanza, più protoni vengono spinti in un canale nel resistore, mentre per diminuire la conduttanza vengono eliminati i protoni. Ciò si ottiene utilizzando un elettrolita (simile a quello di una batteria) che conduce i protoni ma blocca gli elettroni.
Per sviluppare un resistore protonico programmabile super veloce e altamente efficiente dal punto di vista energetico, i ricercatori hanno cercato materiali diversi per l’elettrolita. Mentre altri dispositivi utilizzavano composti organici, Onen si è concentrato sul vetro fosfosilicato inorganico (PSG).
Il PSG è fondamentalmente biossido di silicio, che è il materiale essiccante in polvere che si trova in minuscoli sacchetti che arrivano nella scatola con i nuovi mobili per rimuovere l’umidità. È anche l’ossido più noto utilizzato nella lavorazione del silicio. Per fare il PSG, al silicio viene aggiunto un po’ di fosforo per conferirgli caratteristiche speciali per la conduzione protonica.
Onen ha ipotizzato che un PSG ottimizzato potrebbe avere un’elevata conduttività protonica a temperatura ambiente senza la necessità di acqua, il che lo renderebbe un elettrolita solido ideale per questa applicazione. Lui aveva ragione.
Velocità sorprendente
Il PSG consente un movimento protonico ultraveloce perché contiene una moltitudine di pori di dimensioni nanometriche le cui superfici forniscono percorsi per la diffusione del protone. Può anche resistere a campi elettrici pulsati molto forti. Questo è fondamentale, spiega Onen, perché l’applicazione di più tensione al dispositivo consente ai protoni di muoversi a velocità accecanti.
“La velocità è stata sicuramente sorprendente. Normalmente, non applicheremmo campi così estremi su tutti i dispositivi, per non trasformarli in cenere. Ma invece, i protoni hanno finito per spostarsi a velocità immense attraverso lo stack del dispositivo, in particolare un milione di volte più velocemente rispetto a quello che avevamo prima. E questo movimento non danneggia nulla, grazie alle ridotte dimensioni e alla ridotta massa di protoni. È quasi come teletrasportarsi”, dice.
“La scala temporale di nanosecondi significa che siamo vicini al regime balistico o addirittura di tunneling quantistico per il protone, in un campo così estremo”, aggiunge Li.
Poiché i protoni non danneggiano il materiale, il resistore può funzionare per milioni di cicli senza rompersi. Questo nuovo elettrolita ha abilitato un resistore protonico programmabile che è un milione di volte più veloce del loro dispositivo precedente e può funzionare efficacemente a temperatura ambiente, il che è importante per incorporarlo nell’hardware di calcolo.
Grazie alle proprietà isolanti del PSG, quasi nessuna corrente elettrica passa attraverso il materiale mentre i protoni si muovono. Ciò rende il dispositivo estremamente efficiente dal punto di vista energetico, aggiunge Onen.
Ora che hanno dimostrato l’efficacia di questi resistori programmabili, i ricercatori hanno in programma di riprogettarli per la produzione ad alto volume, afferma del Alamo. Quindi possono studiare le proprietà degli array di resistori e scalarli in modo che possano essere incorporati nei sistemi.
Allo stesso tempo, hanno in programma di studiare i materiali per rimuovere i colli di bottiglia che limitano la tensione necessaria per trasferire in modo efficiente i protoni verso, attraverso e dall’elettrolita.
“Un’altra entusiasmante direzione che questi dispositivi ionici possono consentire è l’hardware efficiente dal punto di vista energetico per emulare i circuiti neurali e le regole di plasticità sinaptica che vengono dedotte nelle neuroscienze, oltre le reti neurali profonde analogiche”, aggiunge Yildiz.
“La collaborazione che avremo sarà essenziale per innovare in futuro. Il percorso da seguire sarà ancora molto impegnativo, ma allo stesso tempo è molto eccitante”, afferma del Alamo.
###
Questa ricerca è finanziata, in parte, dal MIT-IBM Watson AI Lab.
