Gli ingegneri sviluppano un metodo “Early Bird” efficiente dal punto di vista energetico per addestrare reti neurali profonde
Gli ingegneri della Rice University hanno sviluppato un nuovo metodo per addestrare le reti neurali profonde (DNN) con una frazione dell’energia normalmente richiesta. I DNN sono la forma di intelligenza artificiale (AI) che svolge un ruolo chiave nello sviluppo di tecnologie come auto a guida autonoma, assistenti intelligenti, riconoscimento facciale e altre applicazioni.
Early Bird è stato dettagliato in un articolo il 29 aprile da ricercatori della Rice e Texas A&M University. Si è svolto alla Conferenza internazionale sulle rappresentanze dell’apprendimento o ICLR 2020.
Gli autori principali dello studio erano Haoran You e Chaojian Li del laboratorio EIC (Efficient and Intelligent Computing) di Rice. In uno studio, hanno dimostrato come il metodo potrebbe addestrare un DNN allo stesso livello e precisione dei metodi di oggi, ma utilizzando 10,7 volte meno energia.
La ricerca è stata condotta dal direttore di EIC Lab Yingyan Lin, Richard Baraniuk di Rice e Zhangyang Wang del Texas A&M. Altri co-autori includono Pengfei Xu, Yonggan Fu, Yue Wang e Xiaohan Chen.
“Una delle principali forze trainanti nelle recenti scoperte dell’intelligenza artificiale è l’introduzione di DNN più grandi e più costosi”, ha detto Lin. “Ma l’addestramento di questi DNN richiede molta energia. Affinché vengano svelate più innovazioni, è indispensabile trovare metodi di formazione “più ecologici” che affrontino sia le preoccupazioni ambientali che riducano le barriere finanziarie della ricerca in materia di intelligenza artificiale “.
Costoso per addestrare DNN
Può essere molto costoso formare i migliori DNN al mondo e il prezzo continua ad aumentare. Nel 2019, uno studio condotto dall’Allen Institute for AI di Seattle ha scoperto che per formare una rete neurale profonda di volo superiore, sono necessari 300.000 volte più calcoli rispetto al 2012-2018. Un altro studio del 2019, questa volta condotto da ricercatori dell’Università del Massachusetts ad Amherst, ha scoperto che, addestrando un singolo DNN d’élite, vengono rilasciate circa la stessa quantità di emissioni di anidride carbonica di cinque automobili statunitensi.
Affinché i DNN possano svolgere i loro compiti altamente specializzati, sono costituiti da almeno milioni di neuroni artificiali. Sono in grado di imparare a prendere decisioni, a volte sovraperformando gli umani, osservando numerosi esempi. Possono farlo senza la necessità di una programmazione esplicita.
Prugna e treno
Lin è professore associato di ingegneria elettrica e informatica presso la Brown School of Engineering della Rice.
“Il modo più avanzato per eseguire l’allenamento DNN si chiama prugna e treno progressivi”, ha detto Lin. “Per prima cosa, alleni una fitta e gigantesca rete, quindi rimuovi le parti che non sembrano importanti – come potare un albero. Quindi si riqualifica la rete potata per ripristinare le prestazioni poiché le prestazioni diminuiscono dopo la potatura. E in pratica devi potare e riqualificare più volte per ottenere buone prestazioni. “
Questo metodo viene utilizzato poiché non tutti i neuroni artificiali sono necessari per completare l’attività specializzata. Le connessioni tra i neuroni si rafforzano a causa dell’allenamento e altri possono essere scartati. Questo metodo di potatura riduce i costi di calcolo e riduce le dimensioni del modello, il che rende DNN completamente addestrati più convenienti.
“Il primo passo, la formazione della rete densa e gigante, è il più costoso”, ha detto Lin. “La nostra idea in questo lavoro è di identificare la rete potata finale, completamente funzionale, che chiamiamo” biglietto per gli uccelli mattinieri “, nella fase iniziale di questo costoso primo passo.”
I ricercatori lo fanno cercando modelli chiave di connettività di rete e sono stati in grado di scoprire questi biglietti per i primi clienti. Ciò ha permesso loro di accelerare l’allenamento DNN.
Early Bird nella fase iniziale dell’addestramento
Lin e gli altri ricercatori hanno scoperto che Early Bird potrebbe apparire un decimo o meno durante la fase iniziale dell’allenamento.
“Il nostro metodo è in grado di identificare automaticamente i biglietti Early Bird entro il 10% o meno dell’addestramento delle reti dense e giganti”, ha detto Lin. “Ciò significa che è possibile addestrare un DNN per ottenere la stessa o persino migliore precisione per un determinato compito in circa il 10% o meno del tempo necessario per la formazione tradizionale, il che può portare a più di un ordine di risparmio sia in termini di calcolo che di energia.”
Oltre ad essere più veloci e più efficienti dal punto di vista energetico, i ricercatori hanno una forte attenzione all’impatto ambientale.
“Il nostro obiettivo è rendere l’IA sia più rispettosa dell’ambiente che più inclusiva”, ha affermato. “La vastità di complessi problemi di intelligenza artificiale ha tenuto fuori i giocatori più piccoli. L’intelligenza artificiale verde può aprire la porta consentendo ai ricercatori con un laptop o risorse di calcolo limitate di esplorare le innovazioni dell’IA. “
La ricerca ha ricevuto il sostegno della National Science Foundation.
