I ricercatori trovano un nuovo modo per rendere AI 1000X più efficiente dal punto di vista energetico
Sebbene offra vantaggi estremi, l’intelligenza artificiale ha dimostrato più volte di consumare molta energia se implementata con metodi tradizionali. Secondo i dati, l’addestramento di un singolo modello di IA può produrre la stessa quantità di CO2 di cinque auto nel loro intero arco. Nel tentativo di creare un’IA efficiente dal punto di vista energetico, i ricercatori dell’UCL hanno creato un sistema in grado di migliorare le prestazioni di un sistema informatico ispirato al cervello riducendo l’ impronta di carbonio dell’IA .
In un recente studio , pubblicato in un articolo, i ricercatori e gli ingegneri dell’UCL hanno suggerito l’applicazione di “macchine del comitato” sulle reti neurali basate sui memristor. Le reti neurali implementate fisicamente sono soggette a problemi come guasti ai dispositivi, rumore telegrafico casuale, variabilità nell’interazione da dispositivo a dispositivo e resistenza di linea. Pertanto, è stato notato che la precisione del sistema AI potrebbe essere notevolmente migliorata sostituendo i transistor con memristori per tutti i dispositivi. L’implementazione di simulazioni e dati sperimentali da dispositivi memristivi consentirebbe loro di migliorare ulteriormente le loro prestazioni senza aumentare il numero di memristori .
Con la domanda sempre crescente di dati, può causare difficoltà nell’aumentare la capacità di trasmissione dei dati dopo un certo punto; quindi, questo studio può essere estremamente vantaggioso per l’era attuale.
Panoramica del sistema e del metodo
Considerando che i metodi convenzionali sono dotati di non idealità e dispositivi difettosi durante l’inferenza, i ricercatori hanno suggerito di combinare reti neurali basate su memristor non ideali in categorie o comitati per ottenere prestazioni migliori. Questo metodo di utilizzo delle macchine del comitato (CM) non solo aumenterà l’accuratezza dell’inferenza, ma potenzierà anche il tempo di calcolo con il funzionamento parallelo delle reti neurali artificiali memristive (ANN).
Spiegando il processo, il dottor Adnan Mehonic , ricercatore presso il dipartimento di ingegneria elettronica ed elettrica dell’UCL, ha affermato nel documento che per facilitare ciò hanno implementato la configurazione di simulazione, in cui le ANN memristive vengono addestrate per essere simulate e combinate in CM. Continuando la sperimentazione, i ricercatori hanno analizzato tre dispositivi memristivi: dispositivo a base di ossido di tantalio / afnio, dispositivo a base di ossido di tantalio e dispositivo a base di ossido conduttivo modulato a vuoto amorfo, in base alle loro non idealità. E poi ha sfruttato i dati sperimentali per simulare e confrontare i risultati delle ANN memristive, sia individuali che in comitati.
Come funziona?
A partire dalla configurazione della simulazione, i ricercatori hanno utilizzato il database MNIST per addestrare le ANN completamente connesse per identificare le cifre scritte a mano. Successivamente, i pesi delle ANN sono stati classificati a coppie utilizzando uno schema di mappatura proporzionale, che ha simulato le ANN basate su memristive. Infine, queste reti neurali sono state distribuite utilizzando dati sperimentali per verificare le non idealità e quindi combinate in CM.
Utilizzo di più reti neurali per migliorare l’accuratezza dell’inferenza
Con questo, i ricercatori hanno evidenziato che il metodo di CM, come la media dell’insieme, può essere utilizzato con le ANN tradizionali per produrre prestazioni e accuratezza migliori. Inoltre, secondo i ricercatori con la media dell’insieme, le ANN memristive usano gli stessi pesi digitali come erano stati mappati in precedenza. Pertanto, le reti neurali nei comitati funzionano meglio di quelle che lavorano individualmente.
Inoltre, esperimenti con dispositivi memristivi a base di ossido di tantalio / afnio forniscono un quadro completo delle non idealità. Ha utilizzato gli effetti della resistenza di linea per analizzare i dispositivi difettosi. Questo tipo di dispositivo non mostra il rumore telegrafico apparente e quindi di solito è preferito per l’applicazione dell’inferenza.
Dati sperimentali del crossbar per dispositivo memristive Ta / HfO2 RRAM
Inoltre, per esplorare il risultato della riduzione degli effetti negativi del rumore telegrafico casuale, è stata utilizzata un’altra tecnologia memristor: a base di ossido di tantalio. Sebbene per studiare le misurazioni del rumore telegrafico da un singolo dispositivo memristivo sia stata presa in considerazione, per simulare i risultati della resistenza di linea, viene utilizzata la resistenza di interconnessione dai dispositivi a base di ossido di tantalio.
Simulazione del rumore telegrafico per il dispositivo a base di ossido di tantalio
I ricercatori hanno anche preso in considerazione il “dispositivo memristivo a base di ossido conduttivo modulato a vuoto amorfo” per verificare l’effetto del rumore telegrafico casuale. Con tutti questi metodi, i ricercatori hanno notato che — il dispositivo memristivo a base di ossido di tantalio / afnio produceva una precisione mediana di ~ 95,7%; il dispositivo a base di ossido di tantalio aveva una precisione mediana di ~ 96,5%; il terzo ha dato una precisione mediana di ~ 96,7%.
Conclusione
Questi risultati sopra menzionati hanno mostrato come il metodo di coinvolgimento delle macchine dei comitati abbia migliorato drasticamente l’ accuratezza delle ANN memristive, nonostante le sue non idealità. È stato anche osservato che l’accuratezza delle singole reti neurali determina enormemente l’accuratezza di quelle nei CM. Pertanto, c’è sempre la possibilità di migliorare le prestazioni dei dispositivi e dei sistemi che implementano queste reti.
Questo metodo e sistema non solo miglioreranno le prestazioni e l’accuratezza del sistema, ma aumenteranno anche la robustezza, la flessibilità e ridurranno l’ impronta di carbonio della macchina . Ora è il momento perfetto per i memristor per assumere un ruolo guida nello sviluppo di ANN più sostenibili dal punto di vista energetico sui dispositivi IoT e sull’edge computing, hanno concluso i ricercatori dell’UCL.
