In occasione della conferenza internazionale Supercomputing 2026 (SC26), MiTAC Computing ha presentato, in collaborazione con Skymizer, una nuova architettura hardware per l’esecuzione locale di modelli di intelligenza artificiale di grandi dimensioni, basata sulla separazione fisica delle risorse computazionali destinate alle fasi di prefill e decode. La configurazione proposta prevede l’impiego di due differenti piattaforme server, ottimizzate rispettivamente per l’elaborazione iniziale delle sequenze di input e per la generazione progressiva dei token di output. Durante la fase di prefill, il modello elabora le informazioni contenute nel prompt e costruisce le rappresentazioni intermedie utilizzate dai meccanismi di attenzione, memorizzandole nella cosiddetta Key-Value Cache (KV Cache). La fase di decode utilizza successivamente queste rappresentazioni per produrre nuovi token attraverso una sequenza di operazioni caratterizzata da una forte dipendenza dalla capacità e dalla larghezza di banda della memoria. La separazione delle due attività consente di dimensionare indipendentemente le risorse hardware, utilizzando acceleratori differenti in funzione delle caratteristiche dei rispettivi carichi di lavoro.
La piattaforma proposta per l’elaborazione del prefill è il server G8825Z5, caratterizzato da uno chassis rack da 8U, processori AMD EPYC 9575F o 9755 e acceleratori AMD Instinct MI350X. Le rappresentazioni intermedie elaborate da questo sistema vengono trasferite mediante connessioni di rete ad alta velocità verso un secondo server, il modello G4520G6, destinato alla generazione delle risposte. Quest’ultimo utilizza uno chassis da 4U con raffreddamento ad aria, processori Intel Xeon 6 e otto schede acceleratrici Skymizer HTX301-4S, ciascuna dotata di 256 GB di memoria, per una capacità complessiva di circa 2 TB. MiTAC ha progettato questa configurazione considerando modelli come Kimi K3, caratterizzato da 2,8 trilioni di parametri, e applicazioni agentiche che richiedono l’elaborazione di lunghe sequenze di ragionamento. Nell’architettura disaggregata, la velocità di trasferimento della KV Cache tra i due server costituisce un parametro determinante per il contenimento della latenza complessiva.
MiTAC ha presentato anche una configurazione rack da 52U con raffreddamento a liquido, contenente 12 server G4826Z5 e complessivamente 96 acceleratori AMD Instinct MI355X. Secondo l’azienda, questa soluzione permette di incrementare del 50% la densità delle GPU rispetto alle installazioni convenzionali. Un’ulteriore sperimentazione, sviluppata in collaborazione con ZutaCore, riguarda l’impiego di un sistema di raffreddamento diretto bifase privo di acqua, nel quale un fluido dielettrico assorbe il calore prodotto dai componenti elettronici attraverso il passaggio dallo stato liquido a quello di vapore. Il sistema supporterebbe potenze termiche di progetto superiori a 4.000 W e densità di flusso termico oltre 250 W/cm², con un indice annualizzato di efficienza energetica parziale, denominato pPUE, pari a 1,03. Per la gestione dei dati è stata invece presentata una configurazione basata sulla piattaforma DDN Infinia e su sette server di storage GC68C-B8056 da 1U, destinata a garantire la continuità dei flussi informativi verso le risorse di elaborazione.
Lo stack software comprende Canonical Ubuntu come sistema operativo certificato, Rafay per l’allocazione dinamica delle GPU attraverso servizi GPU-as-a-Service e MiCoreView per la raccolta della telemetria e il monitoraggio centralizzato dell’infrastruttura. MiTAC sta inoltre collaborando con AMD allo sviluppo di Helion Agentic AI Rack, una piattaforma ORv3 da 44OU progettata per raggiungere complessivamente 32.768 core CPU AMD Zen 6. L’architettura Helion si basa sugli standard dell’Open Compute Project e prevede configurazioni esclusivamente CPU per gli ambienti hyperscale e configurazioni ibride CPU-GPU per le implementazioni aziendali, con supporto fino a 16 acceleratori Instinct MI350P nella versione di inferenza raffreddata ad aria. A differenza della piattaforma AMD Helios, orientata all’addestramento e all’inferenza su larga scala, Helion è specificamente destinata alla combinazione delle attività di orchestrazione ed esecuzione degli agenti AI. Le configurazioni presentate da MiTAC comprendono pertanto sia sistemi già utilizzati nelle dimostrazioni sia soluzioni infrastrutturali ancora in fase di sviluppo.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)
