Huawei ha presentato OceanStor M900 Context Memory Storage, un sistema di storage progettato per l’inferenza AI nei data center hyperscale e destinato all’integrazione con le infrastrutture SuperPoD dell’azienda. Il prodotto è stato annunciato il 17 settembre 2026 durante HUAWEI CONNECT 2026 a Shanghai da David Wang, Deputy Chairman of the Board e Rotating Chairman di Huawei. Secondo i dati dichiarati dall’azienda, un singolo cluster OceanStor M900 può fornire fino a 64 PB di capacità destinata alla KV cache, creando all’interno del SuperPoD uno spazio di memoria completamente condiviso su scala petabyte e con prestazioni aggregate nell’ordine dei terabyte al secondo.
L’architettura utilizza la rete di interconnessione UnifiedBus di Huawei per collegare in modo coordinato memoria on-chip, DRAM e SSD, con l’obiettivo di estendere la quantità di informazioni che possono essere conservate e riutilizzate durante l’inferenza dei modelli AI. Il sistema è pensato in particolare per scenari nei quali modelli di grandi dimensioni devono gestire finestre di contesto molto estese, conversazioni multi-turno e carichi agentici composti da numerose operazioni consecutive. Huawei collega questa esigenza alla crescita dei modelli verso scale dell’ordine dei 10 mila miliardi di parametri e alla diffusione di context window superiori al milione di token, condizioni che determinano un aumento consistente dei dati associati alla KV cache.
La KV cache conserva le informazioni Key e Value prodotte durante l’inferenza di un modello, permettendo di riutilizzarle nei passaggi successivi senza dover ripetere ogni volta gli stessi calcoli. Con l’aumento della lunghezza del contesto e del numero di interazioni, il volume di questi dati può diventare molto elevato e superare i limiti pratici della memoria integrata negli acceleratori e della DRAM, sia sotto il profilo della capacità sia sotto quello dei costi. OceanStor M900 affronta questo problema attraverso una struttura di memoria multilivello che estende la KV cache fino agli SSD e consente di condividerla a livello di cluster.
UnifiedBus permette al sistema di costruire una KV cache globale su scala petabyte utilizzando connessioni one-hop e un pool condiviso tra i diversi livelli di memoria. In questo modo la capacità disponibile per ogni NPU può passare, secondo Huawei, da una scala nell’ordine dei gigabyte a una nell’ordine dei terabyte. Una maggiore quantità di contesto può quindi essere conservata, condivisa e riutilizzata all’interno del SuperPoD, aumentando la probabilità che i dati richiesti siano già presenti nella cache ed evitando di doverli rigenerare attraverso nuovi calcoli.
Per ridurre i tempi di accesso, OceanStor M900 utilizza un’architettura che Huawei descrive come la prima del settore a integrare CPU, Network Controller Unit e NAND Controller Unit. Il sistema supporta direttamente la semantica della KV cache e consente alle NPU del SuperPoD di raggiungere gli SSD attraverso una connessione one-hop, eliminando alcuni passaggi intermedi legati alla conversione dei protocolli e all’inoltro tramite CPU. Huawei dichiara che questa configurazione riduce la latenza di accesso da valori nell’ordine dei millisecondi a 60 microsecondi, con una diminuzione indicata del 90%.
Un singolo cluster OceanStor M900 raggiungerebbe inoltre una larghezza di banda aggregata di accesso pari a 40 TB/s. Huawei indica questo valore come circa 1,5 volte superiore a quello delle soluzioni concorrenti prese come riferimento dall’azienda. Nei tipici scenari di programmazione AI, la nuova architettura permetterebbe inoltre di raddoppiare il throughput in token di un cluster dedicato all’inferenza e di dimezzare il time to first token, cioè il tempo necessario al sistema per produrre il primo token dopo la ricezione della richiesta.
Un altro elemento del progetto riguarda la gestione dell’usura degli SSD. OceanStor M900 utilizza una tecnologia di storage adattivo denominata KV-aware, progettata per stimare il ciclo di vita dei dati presenti nella KV cache in funzione del loro valore e distribuirli di conseguenza sui differenti supporti di memoria. La piattaforma supporterebbe fino a 24 drive writes per day e, secondo Huawei, questa gestione permetterebbe di aumentare di 16 volte la durata operativa degli SSD, mantenendo una stabilità prevista per tre anni e riducendo la frequenza di sostituzione delle unità e i relativi costi di manutenzione nelle infrastrutture di inferenza su larga scala.
Huawei definisce OceanStor M900 come una nuova categoria di Context Memory Storage per i SuperPoD installati nei data center hyperscale. Il concetto prevede che la memoria utilizzata dall’inferenza non venga più gestita esclusivamente come una combinazione di memoria locale degli acceleratori e DRAM, ma come uno spazio condiviso composto da differenti livelli, nel quale la KV cache può essere collocata e spostata dinamicamente tra memoria on-chip, DRAM e SSD. Il sistema di storage assume quindi un ruolo direttamente collegato all’esecuzione dei modelli AI e non soltanto alla conservazione persistente dei dataset.
La presentazione dell’M900 si inserisce nella strategia infrastrutturale di Huawei per i SuperPoD, che l’azienda considera una delle architetture centrali per l’esecuzione di modelli AI sempre più grandi. Huawei descrive il cambiamento in corso come un passaggio da infrastrutture concentrate principalmente sulla capacità di calcolo a sistemi nei quali compute, rete e storage vengono progettati in modo più strettamente coordinato. Il Context Memory Storage viene quindi proposto come uno dei componenti necessari per aumentare la capacità e l’efficienza di accesso alla KV cache nei grandi cluster di inferenza.
Il lancio è avvenuto durante HUAWEI CONNECT 2026, organizzato dal 17 al 19 settembre presso lo Shanghai World Expo Exhibition & Convention Center e lo Shanghai Expo Center. L’edizione 2026 è dedicata al tema “Advancing the Agentic World” e comprende tre keynote, 20 summit, oltre 60 sessioni e più di 200 interventi aperti al pubblico. Tra gli speaker programmati figurano Jim Zemlin, CEO della Linux Foundation, Liu Qingfeng, Chairman di iFLYTEK, e Peter Zhou, CEO di Huawei Cloud. L’evento è dedicato all’evoluzione dell’intelligenza artificiale sotto il profilo delle strategie, delle tecnologie e degli ecosistemi, con particolare attenzione all’espansione delle applicazioni agentiche e alle infrastrutture necessarie per eseguirle su larga scala.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)