L’adozione degli LLM sta portando alla luce una nuova preoccupazione: l’impatto ambientale dell’addestramento di questi modelli. Sorprendentemente, l’impronta di carbonio lasciata dall’addestramento di modelli di grandi dimensioni ammonta a centinaia di tonnellate. Secondo la sesta edizione dell’AI Index Report 2023 pubblicato dalla Stanford University, le emissioni equivalenti di anidride carbonica prodotte da GPT-3, uno dei modelli LLM più noti, si sono attestate a 502 tonnellate nel 2022, le più alte se confrontate con modelli addestrati con parametri simili.
Tuttavia, OpenAI non ha ancora rivelato la dimensione dei parametri del suo ultimo modello, GPT-4, che potrebbe essere anche peggiore. Ci sono diversi criteri per calcolare le emissioni di carbonio dei sistemi di intelligenza artificiale, tra cui il numero di parametri utilizzati per l’addestramento del modello, l’efficacia dell’utilizzo dell’energia di un data center e l’intensità di carbonio della rete.
L’AI Index Report ha confrontato quattro modelli LLM, tra cui GPT-3, che ha avuto l’emissione più alta tra tutti gli altri modelli. Tuttavia, ci sono stati sforzi per ridurre le generose quantità di impronta di carbonio lasciate dai modelli LLM, come sperimentare l’apprendimento per rinforzo per i sistemi di raffreddamento commerciali controllati.
DeepMind e Google hanno condotto esperimenti dal vivo su due strutture del mondo reale per ridurre l’energia. L’esperimento ha mostrato un risparmio energetico del 9% e del 13% nei due siti sperimentali. Inoltre, gli studenti di ricerca sull’intelligenza artificiale hanno rilasciato FlexGen, un motore di generazione ad alto throughput per l’esecuzione di modelli linguistici di grandi dimensioni con risorse limitate come la singola GPU di base.
L’avanzamento nello sviluppo di modelli di dimensioni inferiori potrebbe anche tradursi in minori emissioni a causa del numero ridotto di parametri utilizzati per l’addestramento. DistilBERT, una “versione distillata” di BERT, è un’alternativa più leggera, veloce ed economica di BERT. Mantenendo oltre il 95% delle prestazioni di BERT, ha il 40% di parametri in meno e funziona il 60% più velocemente.
L’impatto ambientale dell’addestramento di modelli LLM è una preoccupazione emergente, ma ci sono già sforzi in corso per ridurre le emissioni di carbonio. La ricerca continua a sviluppare nuove tecniche e strumenti per ridurre l’impronta di carbonio e migliorare l’efficienza energetica dei sistemi di intelligenza artificiale.
Un altro esempio di come la ricerca stia cercando di affrontare il problema dell’impatto ambientale dell’addestramento dei modelli LLM è LLaMA, un modello di base sviluppato da Meta AI che va dai parametri 7B a 65B. Si dice che LLaMA-13B superi GPT-3 nonostante sia dieci volte più piccolo di esso.
È importante notare che l’efficacia dell’utilizzo dell’energia (PUE) è una metrica importante per valutare l’efficienza energetica di un data center. Questa metrica è calcolata come rapporto tra l’energia consumata da un data center, inclusi il raffreddamento e l’aria condizionata, e l’energia fornita alle apparecchiature informatiche. Il valore è inversamente proporzionale all’efficienza del data center. Pertanto, migliorare l’efficienza energetica dei data center è una parte importante della soluzione per ridurre l’impatto ambientale dell’addestramento dei modelli LLM.
Infine, è importante notare che l’uso dell’intelligenza artificiale sta diventando sempre più diffuso in molte aree della società, e quindi l’impatto ambientale dell’addestramento dei modelli LLM può diventare una questione critica da affrontare. In effetti, la questione dell’impatto ambientale dell’IA sta diventando sempre più importante e deve essere affrontata con urgenza.
In sintesi, l’impatto ambientale dell’addestramento dei modelli LLM è una preoccupazione reale e crescente. Ci sono sforzi in corso per affrontare il problema, come la ricerca e lo sviluppo di modelli di dimensioni inferiori, l’ottimizzazione energetica dei data center e l’uso di tecniche di apprendimento per rinforzo per i sistemi di raffreddamento commerciali controllati. Inoltre, l’uso dell’intelligenza artificiale sta diventando sempre più diffuso, quindi la questione dell’impatto ambientale dell’IA deve essere affrontata con urgenza.