L’inarrestabile crescita di NVIDIA è alimentata principalmente dalla crescente richiesta di GPU da parte delle aziende impegnate nell’intelligenza artificiale. Tuttavia, i costi sostenuti da queste aziende non si fermano alle GPU. Il costo energetico associato all’operazione di queste potenti unità nei data center è enorme. Uno studio recente ha rivelato che i data center consumano mediamente circa 1.000 kWh per metro quadrato, il che equivale a circa 10 volte il consumo energetico di una tipica famiglia americana. Un esempio concreto è BLOOM, un LLM, che ha consumato 914 kWh in soli 18 giorni, grazie all’utilizzo di 16 GPU NVIDIA A100 da 40 GB, gestendo una media di 558 richieste all’ora.
Un articolo di Sequoia sottolinea che per ogni dollaro speso in una GPU, si spende quasi altrettanto in costi energetici per far funzionare quella GPU all’interno di un data center. Tenendo conto del margine di profitto che le aziende devono raggiungere, i costi totali diventano quasi il doppio.
L’addestramento dei modelli di intelligenza artificiale nei data center richiede fino a tre volte l’energia necessaria per i carichi di lavoro cloud tradizionali, mettendo a dura prova l’infrastruttura. Ad esempio, i server AI con GPU possono richiedere fino a 2 kW di potenza, mentre un server cloud standard ne richiede solo da 300 a 500 W.
Lo scorso anno, nella zona conosciuta come “Data Center Alley” nella Virginia settentrionale, si è verificata una quasi interruzione di corrente a causa dell’enorme consumo energetico. Inoltre, l’infrastruttura dei data center attuale sembra non essere pronta ad affrontare la crescente domanda generata dall’IA. Si prevede che il consumo di energia supererà i 35 GW all’anno entro il 2030.
Secondo la ricerca, i costi totali dell’infrastruttura dei server nei data center AI, insieme ai costi operativi, supereranno i 76 miliardi di dollari entro il 2028. Questo valore supera di gran lunga i costi operativi annuali stimati di AWS, che detiene circa un terzo del mercato dei servizi di infrastruttura cloud. Le grandi aziende tech stanno investendo ingenti somme per affrontare questa sfida. Ad esempio, OpenAI spendeva quasi 700.000 dollari al giorno per eseguire i suoi modelli all’inizio dell’anno, a causa della massiccia potenza di calcolo richiesta.
Con la corsa all’IA generativa in crescita, uno studio di Gartner prevede che nei prossimi due anni i costi supereranno il valore generato, costringendo circa il 50% delle grandi aziende a rivedere le loro strategie di IA su larga scala entro il 2028.
Un utente su X, che recensisce dissipatori per CPU, ha sottolineato la preferenza per GPU ad alta efficienza energetica non solo per risparmiare sulle bollette elettriche, ma anche per evitare il surriscaldamento.
Stanno emergendo data center specializzati che si concentrano su carichi di lavoro di intelligenza artificiale generativa. Questi data center sorgono in periferia, lontano dai grandi mercati, e utilizzano reti elettriche esistenti senza sovraccaricarle. Queste alternative stanno guadagnando popolarità grazie a connessioni più veloci e costi ridotti.
Inoltre, si stanno sviluppando tecnologie innovative per creare data center più efficienti dal punto di vista del raffreddamento. Il programma governativo COOLERCHIPS, finanziato dal Dipartimento dell’Energia degli Stati Uniti, ha recentemente stanziato 40 milioni di dollari per 15 progetti. NVIDIA, ad esempio, ha ricevuto 5 milioni di dollari per sviluppare un sistema di raffreddamento a liquido rivoluzionario in grado di aumentare l’efficienza energetica. Questo sistema può raffreddare un data center in un container mobile, persino a temperature fino a 40 gradi Celsius, riducendo i costi del 5% e operando con il 20% in più di efficienza rispetto ai tradizionali approcci raffreddati ad aria.
Nel prossimo futuro, è possibile che fonti di energia rinnovabile diventino la soluzione per alimentare i data center. Considerando gli investimenti delle grandi aziende tech nelle società di energia nucleare e l’apertura di Microsoft per una posizione di “principale responsabile del programma per la tecnologia nucleare”, non possiamo escludere questa possibilità. Potrebbero emergere soluzioni energetiche più convenienti ed ecologiche per affrontare l’attuale sfida energetica.
Con il consumo energetico destinato a crescere, la crescente domanda di GPU potrebbe anche portare a una diminuzione dei costi di queste unità, trovando un compromesso tra prestazioni e consumo energetico.