L’espansione dell’intelligenza artificiale generativa ha portato a un aumento senza precedenti della domanda di potenza di calcolo, in particolare di GPU utilizzate per l’addestramento e l’esecuzione dei modelli di apprendimento automatico. Nonostante questa crescita della domanda, una parte significativa dell’infrastruttura GPU installata nei data center rimane inattiva per lunghi periodi di tempo. Questa inefficienza operativa è al centro di una discussione sempre più rilevante nel settore dell’infrastruttura AI: come sfruttare al meglio l’hardware esistente per massimizzare la capacità computazionale e ridurre i costi complessivi dei sistemi.
Un contributo importante a questa discussione arriva dal team di ricerca che ha sviluppato il concetto di continuous batching, una tecnica di ottimizzazione dell’inferenza dei modelli di intelligenza artificiale che oggi costituisce uno dei pilastri dell’efficienza dei moderni sistemi di esecuzione per modelli di linguaggio di grandi dimensioni. Secondo i ricercatori coinvolti nello sviluppo di questa tecnologia, una parte rilevante delle GPU presenti nei data center rimane inutilizzata per periodi significativi e potrebbe invece essere impiegata per eseguire workload di inferenza AI, generando valore economico e migliorando l’efficienza complessiva delle infrastrutture computazionali.
La tecnica del continuous batching è stata introdotta originariamente nel contesto di una ricerca accademica che mirava a migliorare l’efficienza dei sistemi di inferenza per modelli di linguaggio su larga scala. Il principio alla base di questa metodologia è relativamente semplice ma estremamente efficace. Nei sistemi tradizionali di batching, le richieste di inferenza vengono raccolte in gruppi e processate contemporaneamente dalla GPU. Tuttavia, questo approccio richiede che il sistema attenda la formazione di un batch completo prima di avviare l’elaborazione, oppure che tutte le richieste del batch terminino prima di passare al batch successivo. Questo comportamento genera inevitabilmente tempi di inattività per l’hardware, soprattutto quando le richieste arrivano in modo irregolare o quando le operazioni di generazione dei modelli richiedono tempi diversi per ciascun input.
Il continuous batching affronta questa inefficienza introducendo un meccanismo dinamico di gestione delle richieste. Invece di attendere la conclusione di un batch completo, il sistema integra nuove richieste all’interno del batch già in esecuzione. Quando una sequenza termina la generazione dei propri token o completa l’inferenza, lo spazio computazionale liberato viene immediatamente occupato da una nuova richiesta in arrivo. In questo modo la GPU continua a lavorare senza interruzioni significative, mantenendo un livello di utilizzo molto più elevato rispetto ai sistemi tradizionali.
Dal punto di vista ingegneristico, questo approccio richiede sistemi di scheduling molto più sofisticati rispetto al batching statico. Il motore di inferenza deve essere in grado di gestire richieste con lunghezze diverse, sincronizzare le operazioni di generazione dei token e mantenere la coerenza delle cache interne dei modelli. Tuttavia, quando implementata correttamente, questa tecnica consente di ottenere incrementi significativi delle prestazioni. Alcuni studi indicano che il throughput dei sistemi di inferenza può aumentare anche di diversi multipli rispetto agli approcci tradizionali basati su batch statici, migliorando contemporaneamente la latenza percepita dagli utenti.
L’importanza di questa tecnologia si è riflessa anche nella sua rapida diffusione all’interno degli strumenti di inferenza utilizzati nel settore. Framework moderni per l’esecuzione di modelli di linguaggio, come vLLM e altri server di inferenza open source, integrano oggi varianti di continuous batching per migliorare l’efficienza delle GPU e supportare carichi di lavoro variabili senza dover replicare continuamente le istanze dei modelli.
Parallelamente allo sviluppo di queste tecniche di ottimizzazione, alcune aziende stanno iniziando a esplorare nuovi modelli economici per sfruttare le GPU inattive presenti nei data center. In questo contesto si inserisce l’iniziativa di FriendliAI, una società fondata da ricercatori coinvolti nello sviluppo del continuous batching. L’azienda ha presentato una piattaforma chiamata InferenceSense, progettata per consentire agli operatori di infrastrutture cloud di monetizzare i cicli di GPU inutilizzati eseguendo workload di inferenza AI provenienti da terze parti.
Il concetto alla base di questa piattaforma è simile a quello dei sistemi pubblicitari digitali che utilizzano inventario non venduto per generare ricavi aggiuntivi. Nel caso delle GPU, le risorse computazionali inutilizzate vengono messe a disposizione di un mercato di inferenza AI. Quando un data center non utilizza temporaneamente una GPU per i propri carichi di lavoro principali, il sistema può automaticamente assegnare quella capacità a richieste di inferenza provenienti dalla rete. L’operatore del data center riceve quindi una parte dei ricavi generati dall’esecuzione di questi workload.
Un aspetto importante di questo modello è che i carichi di lavoro interni mantengono sempre la priorità. Se l’operatore ha bisogno di recuperare la GPU per le proprie attività, il sistema sospende immediatamente l’inferenza esterna e restituisce la risorsa al cluster locale. Questo approccio consente di sfruttare la capacità inutilizzata senza compromettere le prestazioni delle applicazioni principali.
Il problema delle GPU inattive non è marginale nel panorama dell’infrastruttura AI. La gestione di grandi cluster di acceleratori è estremamente costosa e anche piccole percentuali di inattività possono tradursi in perdite economiche significative. In cluster composti da migliaia di GPU, anche una riduzione minima del tasso di utilizzo può equivalere a centinaia di acceleratori che rimangono inutilizzati, rappresentando milioni di dollari di investimento infrastrutturale non sfruttato.
La combinazione tra tecniche di ottimizzazione dell’inferenza, come il continuous batching, e modelli economici basati sulla condivisione della capacità computazionale potrebbe quindi rappresentare una delle direzioni più importanti per il futuro delle infrastrutture AI. Invece di costruire continuamente nuovi data center per soddisfare la domanda crescente di calcolo, una parte significativa della capacità potrebbe essere recuperata semplicemente migliorando l’efficienza con cui vengono utilizzate le GPU già installate.