Un gruppo di ricercatori internazionali di IA e data scientist ha collaborato alla progettazione di software in grado di stimare l’impronta di carbonio delle operazioni di calcolo. Il pacchetto software open source, chiamato CodeCarbon, è stato progettato da un consorzio di società di intelligenza artificiale e data science. La speranza è che il software consentirà e incentiverà i programmatori a rendere il loro codice più efficiente e ridurre la quantità di CO2 generata dall’uso delle risorse informatiche.
Secondo ITP , il nuovo pacchetto software CodeCarbon è stato sviluppato da un team di gruppi di ricerca AI guidati dalla società di ricerca AI Mila, insieme a Comet.ml, Haverford College in Pennsylvania e GAMMA. Il software non solo stima la quantità di CO2 prodotta dall’uso delle risorse di calcolo, ma fornisce anche agli sviluppatori consigli per ridurre la loro impronta di carbonio.
L’addestramento di modelli di IA può richiedere molta energia. Come spiegato da ArsTechnica , i ricercatori dell’Università del Massachusetts Amherst hanno stimato il costo totale della creazione e dell’addestramento di determinati modelli di IA e il team ha scoperto che l’addestramento della rete del linguaggio naturale BERT una volta generava approssimativamente la stessa quantità di carbonio di un volo di andata e ritorno tra San Francisco e New York. York. Nel frattempo, addestrare il modello più volte fino a quando non viene ottimizzato potrebbe generare tanta CO2 quanto 315 passeggeri diversi che prendono lo stesso volo.
Perché esattamente i modelli di intelligenza artificiale consumano così tanta energia e generano così tanta CO2 come sottoprodotto? Parte della risposta sta nel modo in cui i modelli di intelligenza artificiale vengono addestrati e ottimizzati. Per ottenere anche piccoli miglioramenti rispetto agli algoritmi all’avanguardia esistenti, i ricercatori di intelligenza artificiale potrebbero addestrare il loro modello migliaia di volte, apportando lievi modifiche al modello ogni volta finché non viene scoperta un’architettura del modello ottimale.
Anche i modelli di intelligenza artificiale stanno crescendo di dimensioni continuamente, diventando più complessi ogni anno.
I più potenti algoritmi e modelli di apprendimento automatico come GPT-3, BERT e VGG, hanno milioni di parametri e vengono addestrati per settimane alla volta, per un totale di centinaia o migliaia di ore di addestramento. GPT-2 aveva circa 1,5 miliardi di parametri all’interno della rete, mentre GPT-3 ha circa 175 miliardi di pesi. Questo finisce per utilizzare centinaia di chilogrammi di CO2.
CodeCarbon ha un modulo del meccanismo di tracciamento che registra la quantità di energia utilizzata dai provider di cloud e dai data center. Il sistema utilizza quindi dati estratti da fonti pubblicamente disponibili per stimare il volume di CO2 generato, controllando le statistiche dalla rete elettrica a cui è collegato l’hardware. Il tracker stima la CO2 prodotta per ogni esperimento utilizzando un particolare modulo AI, memorizzando i dati sulle emissioni sia per i progetti che per l’intera organizzazione.
Il fondatore di Mila, Yohua Bengio, ha spiegato che sebbene l’intelligenza artificiale sia uno strumento incredibilmente potente in grado di affrontare molti problemi, spesso richiede una notevole quantità di potenza del computer. Sylvian Duranton, amministratore delegato del Boston Consulting Group, ha affermato che il computing e l’intelligenza artificiale continueranno a crescere a tassi esponenziali in tutto il mondo. L’idea è che CodeCarbon aiuterà le aziende di intelligenza artificiale e informatica a limitare la loro impronta di carbonio mentre continuano a crescere. CodeCarbon genererà una dashboard che consente alle aziende di vedere facilmente la quantità di emissioni generate dalla formazione dei loro modelli di machine learning. Rappresenterà anche le emissioni in parametri che gli sviluppatori possono facilmente comprendere, come i chilometri percorsi in un’auto, le ore di TV guardate e il consumo energetico tipico di una famiglia negli Stati Uniti.
Gli sviluppatori di CodeCarbon si aspettano che il software non solo incoraggerà i ricercatori di IA a provare a ridurre la propria impronta di carbonio, ma incoraggerà una maggiore trasparenza riguardo alle emissioni complessive. Gli sviluppatori saranno in grado di quantificare e riferire sulle emissioni generate da una serie di diversi esperimenti di intelligenza artificiale e informatica. Il team responsabile della creazione di CodeCarbon spera che altri sviluppatori prenderanno il loro strumento open source e lo miglioreranno con nuove funzionalità che aiuteranno gli ingegneri ei ricercatori di intelligenza artificiale a frenare ulteriormente il loro impatto ambientale.
