La crescita degli agenti AI sta aumentando la pressione sulle infrastrutture dei data center anche al di fuori delle GPU. In AWS, la necessità di garantire capacità di calcolo sufficiente ai clienti sta portando a una maggiore attenzione sull’impiego delle risorse interne, compresi i server basati su CPU utilizzati attraverso EC2. Nel corso di una riunione con gli ingegneri tenuta a maggio, i vertici dell’azienda hanno chiesto ai team di ridurre entro la fine dell’anno la quantità di capacità di calcolo utilizzata internamente, recuperando in particolare le istanze EC2 lasciate inattive dopo le fasi di sviluppo e rendendole nuovamente disponibili per i clienti.
La disponibilità dei server CPU all’interno di AWS risulta più limitata rispetto al passato. Alcuni ingegneri hanno segnalato che risorse di sviluppo che in precedenza potevano essere assegnate nel giro di poche ore richiedono ora anche diversi giorni. L’allungamento dei tempi di assegnazione può incidere direttamente sulle attività di sviluppo e sulle scadenze dei progetti, mostrando come la pressione sulle infrastrutture AI non riguardi più soltanto gli acceleratori utilizzati per l’addestramento e l’inferenza dei modelli. Alla carenza di GPU si stanno infatti aggiungendo vincoli legati alla memoria, allo spazio fisico disponibile nei data center e alla capacità complessiva dei server.
Uno dei fattori che contribuisce maggiormente all’aumento della domanda di CPU è la diffusione degli agenti AI. A differenza di una semplice richiesta inviata a un modello linguistico, un agente può eseguire una sequenza di operazioni che comprende chiamate a strumenti esterni, gestione di file, esecuzione di codice, elaborazione dei dati e coordinamento di più attività. In questo tipo di architettura la GPU continua a occuparsi principalmente dell’inferenza del modello, mentre la CPU gestisce gran parte delle operazioni necessarie per orchestrare il processo e interagire con gli altri componenti software. L’aumento del numero di agenti e della quantità di operazioni eseguite da ciascuno determina quindi un carico aggiuntivo sulle risorse CPU.
Le CPU mantengono inoltre un ruolo importante nelle fasi che precedono l’addestramento dei modelli, perché vengono utilizzate per leggere, preparare e ripulire documenti, immagini, video e altri dati grezzi prima che questi vengano elaborati dagli acceleratori. L’espansione dell’uso degli agenti nello sviluppo software sta amplificando ulteriormente questo consumo. In alcune aziende che hanno adottato strumenti agentici per la programmazione, il costo del cloud per singolo dipendente è arrivato a raddoppiare, proprio perché l’attività svolta dagli agenti comporta l’esecuzione continua di operazioni aggiuntive sui server.
Anche il rapporto tra CPU e GPU utilizzate per l’inferenza AI sta cambiando rapidamente. Ad aprile Lip-Bu Tan, CEO di Intel, aveva indicato un rapporto di circa una CPU ogni quattro GPU, mentre a luglio il CFO dell’azienda ha riferito che questa proporzione si sta progressivamente avvicinando a 1:1. Indicazioni analoghe sull’aumento della domanda di processori general purpose sono arrivate anche da AMD e Arm. Nelle precedenti architetture AI la CPU veniva utilizzata soprattutto per alimentare le GPU con dati e coordinare le operazioni di base, mentre con gli agenti assume un ruolo più diretto nell’esecuzione delle attività e nell’orchestrazione dei diversi passaggi operativi.
AWS ha precisato che questa situazione non rappresenta un cambiamento radicale nella propria gestione interna delle risorse. L’azienda sostiene di riuscire ancora a soddisfare la maggior parte della domanda di calcolo, sia interna sia dei clienti, e considera l’ottimizzazione delle istanze EC2 una pratica già applicata abitualmente. Tra gli interventi utilizzati rientrano la chiusura delle istanze inutilizzate e il passaggio a configurazioni più piccole quando quelle assegnate risultano sovradimensionate rispetto al carico effettivo. La stessa logica viene proposta anche ai clienti: AWS raccomanda di ridimensionare un server quando CPU e memoria rimangono sotto il 40% di utilizzo per quattro settimane consecutive e mette a disposizione strumenti software per individuare automaticamente le istanze inattive o scarsamente utilizzate.
La competizione per l’allocazione delle risorse di calcolo riguarda anche gli altri grandi operatori cloud. Google avrebbe istituito un gruppo di dirigenti incaricato di decidere come distribuire la capacità disponibile tra Google Cloud, DeepMind e i servizi destinati ai consumatori. Microsoft ha invece indicato che l’ottimizzazione nell’impiego di CPU e GPU consente di liberare capacità aggiuntiva che, in una fase di offerta limitata, può essere immediatamente destinata ai clienti e trasformata in nuovi ricavi.
Per i normali clienti AWS la scarsità di CPU non risulta ancora evidente in modo generalizzato, ma gli effetti iniziano a emergere nei segmenti in cui viene utilizzata la capacità eccedente dei data center. In passato era relativamente semplice ottenere grandi quantità di server attraverso le Spot Instances, che consentono di utilizzare a prezzo ridotto le risorse momentaneamente non richieste da altri clienti. Con l’aumento dell’utilizzo complessivo, questa capacità libera sta diventando meno abbondante, indicando un progressivo assorbimento delle risorse disponibili.
La crescita degli agenti AI sta quindi modificando anche la composizione della domanda infrastrutturale. Il problema della capacità di calcolo non riguarda più esclusivamente l’approvvigionamento di GPU, ma coinvolge CPU, memoria e spazio nei data center. Più un agente viene utilizzato per attività complesse, sviluppo software e automazione dei processi aziendali, maggiore diventa il numero di operazioni eseguite intorno all’inferenza del modello e, di conseguenza, il carico sui processori general purpose che gestiscono queste attività.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)