Empromptu AI ha sviluppato Grid Guard, una soluzione software progettata per prevedere, attenuare e quantificare economicamente le variazioni improvvise della potenza elettrica prodotte dai carichi di lavoro delle GPU nei data center dedicati all’intelligenza artificiale. Il sistema rappresenta la prima applicazione dell’azienda destinata direttamente alle operazioni dei data center ed è già coinvolto in un progetto con una grande società del settore energetico in vista di un’implementazione operativa.
Nei cluster AI composti da migliaia di GPU, molte unità possono iniziare contemporaneamente la stessa operazione, come l’avvio di un nuovo batch di addestramento, la sincronizzazione dei dati tra i nodi o l’elaborazione di un input particolarmente esteso. Questa esecuzione sincronizzata può determinare variazioni della domanda elettrica nell’ordine di decine di megawatt in pochi millisecondi. Turbine, generatori e altri componenti dell’infrastruttura energetica non sono stati progettati per reagire continuamente a oscillazioni così rapide, che possono sottoporre gli impianti a sollecitazioni elevate e provocare guasti meccanici.
La risposta tradizionalmente adottata consiste nel sovradimensionamento dell’infrastruttura attraverso batterie più capienti, generatori aggiuntivi, sistemi ridondanti e ulteriori riserve di potenza. Questo approccio richiede però investimenti consistenti e interviene sugli effetti delle oscillazioni anziché sulla loro origine. Alcune installazioni di data center hanno già registrato cedimenti infrastrutturali direttamente associati a eventi di carico GPU sincronizzato, compresi guasti agli alberi di trasmissione che hanno provocato danni alle apparecchiature per milioni di dollari.
Grid Guard interviene prima che il picco generato dal carico di calcolo raggiunga il sistema elettrico. Il principio di funzionamento consiste nell’evitare che tutte le GPU eseguano una determinata operazione esattamente nello stesso millisecondo. Il software introduce ritardi compresi tra 50 e 200 millisecondi tra gruppi di attività, trasformando un aumento verticale della richiesta di energia in una rampa progressiva più facilmente gestibile dall’infrastruttura. Le prime implementazioni hanno mostrato una riduzione media dell’80% della volatilità elettrica senza effetti significativi sulle prestazioni dei carichi di lavoro AI.
La piattaforma analizza le attività delle GPU per prevedere le oscillazioni di potenza nel breve periodo prima che si trasferiscano all’impianto elettrico. Gli operatori possono quindi ricevere un’indicazione anticipata della domanda prevista, invece di limitarsi a osservare il picco dopo che si è già verificato attraverso un sistema di monitoraggio reattivo. La previsione viene combinata con funzioni di pianificazione e orchestrazione che distribuiscono nel tempo l’avvio dei batch, suddividono gli input più grandi in passaggi di elaborazione meno gravosi e riutilizzano i risultati di calcolo memorizzati nella cache per evitare operazioni ridondanti e ulteriori picchi.
Grid Guard coordina anche la risposta delle componenti energetiche del data center, inviando in anticipo segnali relativi alla domanda prevista a batterie, generatori e sistemi intelligenti di gestione della potenza. Le apparecchiature possono così prepararsi alla variazione del carico prima che questa si manifesti fisicamente. Il sistema assegna inoltre un valore economico alla volatilità, rendendo visibile il costo effettivo dei modelli di utilizzo più onerosi e creando un segnale che può premiare le modalità operative più efficienti.
La riduzione delle oscillazioni permette di diminuire la quantità di hardware necessaria per assorbire i picchi, contenere le spese in conto capitale e ridurre il rischio di cedimenti infrastrutturali. Poiché Grid Guard opera a livello software, può essere introdotto senza modificare fisicamente l’impianto elettrico esistente. Il sistema continua inoltre a migliorare attraverso i dati raccolti durante il funzionamento, utilizzando un’architettura a ciclo di feedback che aggiorna progressivamente le previsioni e le strategie di ottimizzazione.
La soluzione nasce come estensione della piattaforma principale di Empromptu AI, originariamente sviluppata per l’addestramento e la gestione di modelli destinati alle imprese. La stessa infrastruttura è utilizzata da Alchemy Models e dalla suite aziendale dedicata all’intelligenza artificiale, dove sistemi in tempo reale apprendono dai dati operativi, generano cicli di feedback e ottimizzano continuamente processi complessi. Con Grid Guard, questa architettura viene applicata ai livelli energetici e computazionali che sostengono l’esecuzione dei modelli AI.
L’impostazione segue un ciclo composto da previsione, ottimizzazione e miglioramento continuo. Il sistema identifica in anticipo il comportamento dei carichi, modifica la loro esecuzione per limitare le variazioni della domanda elettrica e utilizza i risultati effettivi per affinare le decisioni successive. Empromptu AI prevede di utilizzare Grid Guard come punto di partenza per una divisione più ampia dedicata alla gestione operativa dei data center, estendendo le proprie tecnologie di ottimizzazione dall’addestramento dei modelli alle infrastrutture fisiche necessarie per alimentarli.