L’IA ha un problema di emissioni: è risolvibile?
Il consumo totale di elettricità delle tecnologie dell’informazione e della comunicazione (TIC) rappresenterebbe il 20% della domanda globale di elettricità entro il 2030.
Secondo la stima di Google Voli, un viaggio di andata e ritorno di un aereo passeggeri a pieno carico tra San Francisco e New York rilascerebbe 180 tonnellate di anidride carbonica equivalente (CO2e). Nel frattempo, le emissioni di addestramento del modello linguistico T5 da 11 miliardi di parametri di Google e GPT-3 (175 miliardi di parametri) di OpenAI si attestano rispettivamente a ~ 26%, ~ 305% del round trip. I modelli “allo stato dell’arte” richiedono una notevole quantità di risorse computazionali ed energia, portando ad alti costi ambientali. I modelli di deep learning stanno diventando più grandi di giorno in giorno. Modelli così grandi vengono regolarmente addestrati per migliaia di ore su acceleratori hardware specializzati nei data center.
Come sono aumentati i requisiti di elaborazione nell’ultimo decennio. Crediti immagine: ACM
L’intelligenza artificiale può abilitare città intelligenti e a basse emissioni di carbonio attraverso veicoli elettrici autonomi, ottimizzando le reti intelligenti, ecc. Tuttavia, la ricerca avanzata sull’intelligenza artificiale e la progettazione dei prodotti lasciano un’enorme impronta di carbonio. Secondo una stima del 2020 , il consumo totale di elettricità delle tecnologie dell’informazione e della comunicazione (TIC) rappresenterebbe il 20% della domanda globale di elettricità entro il 2030, da circa l’1% nel 2020. Secondo i ricercatori , la quantità di calcolo utilizzata dal più grande ML la formazione è aumentata in modo esponenziale e cresciuta di oltre 300.000 volte tra il 2012-18, che equivale a un periodo di raddoppio di 3,4 mesi. Per mettere le cose in prospettiva, la legge di Moore ha un periodo di raddoppio di 2 anni.
Secondo i ricercatori di Google, i seguenti fattori influenzano l’impronta di carbonio AI/ML:
Le reti neurali profonde grandi e sparse (DNN) possono consumare meno di 1/10 dell’energia delle DNN grandi e dense.
La posizione geografica è importante per la pianificazione del carico di lavoro di apprendimento automatico poiché la frazione di energia priva di carbonio e le emissioni di carbonio risultanti variano (fino a 10 volte), anche all’interno dello stesso paese e della stessa organizzazione.
L’infrastruttura del data center è importante, poiché i data center cloud possono essere più efficienti dal punto di vista energetico rispetto ai tipici data center e gli acceleratori orientati al machine learning al loro interno possono essere (fino a cinque volte) più efficaci dei sistemi standard.
Secondo i ricercatori, l’elettricità necessaria per eseguire un modello ML è una funzione dell’algoritmo, del programma che lo implementa, del numero di processori che eseguono il programma, della velocità e della potenza di tali processori, dell’efficienza di un datacenter nella fornitura di alimentazione e raffreddamento i trasformatori e il mix di approvvigionamento energetico (rinnovabili, gas, carbone, ecc.). Una formula semplificata per l’impronta di carbonio di un modello ML può essere calcolata come segue:
Secondo un rapporto Nature 2018i data center utilizzano 200 terawattora (TWh), molto di più del consumo nazionale di elettricità di alcuni paesi. A causa della grande differenza tra i fattori di emissione di CO2e specifici per l’elettricità tra i paesi, l’impronta di carbonio della formazione del modello può dipendere fortemente dalla geolocalizzazione degli hardware. La formazione in Francia ha sempre le emissioni di carbonio più basse poiché si basa sull’energia nucleare come fonte principale. Questo è il motivo per cui Abhishek Gupta, fondatore del Montreal AI Ethics Institute e ingegnere ML presso Microsoft, ha proposto un piano a quattro pilastri per affrontare molte di queste sfide. Il framework SECure, come lo chiama lui, fornisce approfondimenti fruibili a professionisti e consumatori di sistemi di intelligenza artificiale per innescare un cambiamento di comportamento, un importante elemento mancante negli attuali strumenti che misurano l’impatto del carbonio dei sistemi di intelligenza artificiale.
Utilizza metodi di apprendimento automatico efficienti dal punto di vista del calcolo. Questo può essere fatto attraverso metodi di quantizzazione che possono far funzionare le CPU alla pari con GPU e TPU. L’utilizzo di dispositivi con risorse limitate come i dispositivi IoT sull’edge computing può essere una soluzione.
L’utilizzo di metodi di apprendimento federato (FL) può essere vantaggioso nel contesto dell’impronta di carbonio. Ad esempio, in uno studio condotto da ricercatori dell’Università di Cambridge, è stato riscontrato che FL ha un vantaggio a causa delle esigenze di raffreddamento dei data center. Sebbene le GPU o persino le TPU stiano diventando più efficienti in termini di potenza di calcolo erogata dalla quantità di energia consumata, rimane la necessità di un raffreddamento forte e che consuma energia, quindi FL può sempre beneficiare dei progressi hardware. Le attività FL distribuite (ovvero sul dispositivo) saranno leggere e mireranno a ridurre il numero di comunicazioni.
Esistono strumenti online come il calcolatore MLCO2 che richiedono agli sviluppatori di inserire parametri tra cui l’hardware specifico utilizzato, il provider cloud, la regione del datacenter e il numero di ore di formazione, per ottenere una stima delle emissioni di carbonio. Strumenti basati su codice come CodeCarbon e CarbonTracker alleviano il problema dell’interruzione del flusso di lavoro naturale, con CodeCarbon che ora offre l’integrazione con CometML che naturalizza ulteriormente l’inclusione di tali metriche con il resto dei flussi di lavoro di data science e machine learning e raccolta di artefatti.
Iniziative come Green AI, sostengono l’inclusione dell’efficienza insieme all’accuratezza e ad altre metriche di valutazione durante la creazione di sistemi di intelligenza artificiale.
Strategie come il monitoraggio in tempo reale del consumo di energia possono aiutare a mitigare le emissioni di carbonio.
Sebbene la sintesi di Gupta degli strumenti disponibili e delle sue proposte sembri promettente, incentivare la società a muoversi verso la responsabilità sarà ancora una sfida: tuttavia, rimangono alcune domande persistenti: non dovremmo concentrarci maggiormente sulla generazione di energia pulita anziché sul consumo di energia? L’impronta di carbonio dell’IA è il risultato di pratiche di formazione mal informate da parte dei ricercatori o ciò accade durante la formazione in generale? Chi beneficia effettivamente della ricerca sull’intelligenza artificiale e perché un uomo comune dovrebbe soffrire di impronte di carbonio generate per gli interessi di poche aziende? La ricerca dovrebbe essere regolamentata?
