Supermicro ha annunciato il 5 novembre 2026 una soluzione infrastrutturale sviluppata con IBM e NVIDIA per conservare e condividere la KV cache utilizzata durante l’inferenza dei modelli di intelligenza artificiale, trasferendo parte delle informazioni intermedie dalla memoria delle GPU a un livello di storage esterno accessibile da più nodi di elaborazione. La configurazione combina server di storage all-flash Supermicro Petascale basati su processori AMD EPYC 9005, il software IBM Storage Scale, il framework di inferenza NVIDIA Dynamo e le tecnologie di interconnessione Ethernet NVIDIA Spectrum-X. L’architettura è destinata alle applicazioni che gestiscono contesti molto estesi e richieste ripetute, comprese conversazioni articolate su più turni, assistenti di programmazione, sistemi agentici, applicazioni multimodali e implementazioni di retrieval-augmented generation. Nei test congiunti, le aziende hanno rilevato una riduzione fino a 56 volte del tempo necessario alla generazione del primo token per una richiesta contenente 130.000 token, attraverso il riutilizzo delle informazioni precedentemente elaborate.
Il funzionamento della soluzione si basa sulla conservazione degli stati intermedi key-value generati dal modello durante la fase di prefill, nella quale i token del prompt vengono elaborati per costruire le rappresentazioni necessarie alle successive operazioni di attenzione. Quando una nuova richiesta contiene parti di contesto già processate, il sistema può recuperare gli stati corrispondenti dalla cache anziché ripetere integralmente i calcoli sulle GPU. Nei carichi che comprendono grandi archivi documentali, repository software, immagini o cronologie di conversazioni, la quantità di informazioni da mantenere può superare la capacità disponibile nella memoria delle GPU e nella RAM dei server. La nuova configurazione introduce quindi un livello di memorizzazione condiviso e altamente disponibile, accessibile da diversi nodi e cluster, la cui capacità può essere ampliata senza interrompere le attività di inferenza. NVIDIA Dynamo gestisce l’instradamento delle richieste in funzione della disponibilità dei dati in cache, separa le operazioni di prefill da quelle di decode e utilizza KV Block Manager e la libreria NIXL per il trasferimento e lo scaricamento dei blocchi. IBM Storage Scale Erasure Coding Edition costituisce il livello condiviso G4 nella gerarchia di memoria prevista dall’architettura NVIDIA.
I risultati prestazionali derivano da una configurazione di riferimento documentata da IBM Redbooks, pubblicata inizialmente il 5 giugno 2026 e aggiornata il 20 agosto successivo, successivamente utilizzata per validare la soluzione presentata a novembre. Nella prova relativa a un prompt di 130.000 token, la rielaborazione completa sulla GPU ha richiesto 32,14 secondi, mentre il recupero degli stati già memorizzati nello storage condiviso ha ridotto il tempo a 0,570 secondi. Una seconda sperimentazione ha previsto 200 richieste elaborate attraverso 28 connessioni concorrenti, utilizzando 100 prompt distinti per un totale di 24 milioni di token e circa 825 GB di informazioni KV cache. In questa configurazione, il throughput è passato da 0,19 a 4,26 richieste al secondo, mentre il tempo complessivo di elaborazione è diminuito da 1.048,56 a 46,94 secondi. La prova è stata eseguita partendo da una cache inizialmente vuota, per cui i valori complessivi comprendono anche la fase iniziale di popolamento dello storage, durante la quale il riutilizzo del contesto aumenta progressivamente.
La validazione ha incluso una prova di interferenza sulle risorse di rete, nella quale quattro client aggiuntivi hanno generato un traffico concorrente di 200 GB/s. In presenza di questo carico, il sistema ha mantenuto un throughput di 3,6 richieste al secondo, completando le 200 richieste in 55,56 secondi. La documentazione tecnica indica una riduzione del throughput del 18% rispetto alla configurazione con rete non congestionata, evidenziando l’influenza della disponibilità di banda sulle prestazioni del recupero dei blocchi KV. Tutte le misurazioni di inferenza sono state effettuate utilizzando un singolo nodo client Supermicro equipaggiato con quattro GPU NVIDIA RTX PRO 6000, collegato a un cluster di storage Petascale composto da otto nodi. La componente software comprendeva NVIDIA Dynamo nella versione 0.9.0 o successiva, vLLM 0.14.1, NVIDIA AIPerf e il modello openai/gpt-oss-120b. Durante le prove sono stati disabilitati i livelli di cache residenti nella memoria GPU e nella DRAM di sistema, così da isolare il contributo dello storage condiviso G4.
L’infrastruttura di rete impiegata nei test comprendeva tre switch NVIDIA Spectrum-X SN5600 organizzati secondo una topologia spine-leaf. Le misurazioni hanno evidenziato una larghezza di banda verso i client fino a 80 GB/s, mentre il sistema di storage a otto nodi ha raggiunto una capacità di lettura fino a 315 GB/s. La differenza tra i due valori identifica la rete di accesso dei client come principale vincolo della configurazione sperimentale, poiché la capacità disponibile nello storage risulta superiore a quella effettivamente trasferibile ai nodi di inferenza. La documentazione IBM propone configurazioni di quattro nodi di storage per implementazioni sperimentali di dimensioni contenute, otto nodi per installazioni intermedie corrispondenti all’ambiente testato e almeno sedici nodi per infrastrutture AI di grandi dimensioni. Il dimensionamento dipende dalla capacità richiesta per la cache, dalla concorrenza delle richieste, dalla banda disponibile, dai modelli utilizzati e dalla frequenza con cui i contesti vengono riutilizzati. Supermicro affianca alla soluzione servizi di integrazione dei rack in fabbrica e installazione presso il cliente, dichiarando la possibilità di ridurre i tempi di implementazione da settimane a giorni. Le prestazioni documentate si riferiscono alle condizioni specifiche delle prove e non costituiscono valori garantiti per qualsiasi modello o carico di lavoro.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)