AMD e Cerebras hanno avviato una collaborazione tecnica per realizzare un’infrastruttura di inferenza disaggregata che combina i sistemi rack-scale AMD Helios con il Wafer-Scale Engine di Cerebras. La soluzione assegna le diverse fasi di elaborazione dei modelli linguistici all’architettura hardware più adatta, invece di eseguire l’intero processo su un’unica tipologia di acceleratore.
La piattaforma Helios fungerà da motore ad alta capacità per il prefill, la fase nella quale il sistema elabora il prompt, analizza il contesto fornito dall’utente e costruisce le rappresentazioni necessarie alla generazione della risposta. Questa parte del carico richiede un’elevata potenza di calcolo parallelo e deve poter gestire simultaneamente grandi volumi di richieste, sequenze lunghe e modelli con un numero crescente di parametri.
Il Wafer-Scale Engine verrà invece utilizzato per il decode, cioè la generazione progressiva dei token in uscita. L’architettura di Cerebras concentra sullo stesso wafer una quantità molto elevata di capacità di calcolo e memoria distribuita, riducendo gli spostamenti dei dati tra chip separati. Questo consente di limitare la latenza tra un token e il successivo, un parametro determinante per agenti AI, assistenti vocali, copiloti e applicazioni interattive che devono produrre risposte in tempo reale.
I due motori opereranno all’interno di un unico flusso di inferenza. Helios elaborerà il prompt e i contesti estesi sfruttando la scalabilità delle GPU AMD Instinct e dei processori EPYC, mentre il risultato intermedio verrà trasferito al sistema Cerebras per completare la generazione a bassa latenza. L’obiettivo è evitare che un’unica infrastruttura debba essere dimensionata contemporaneamente per massimizzare il throughput del prefill e la velocità sequenziale del decode, due operazioni caratterizzate da esigenze computazionali differenti.
Secondo le simulazioni condotte dalle due aziende, la configurazione potrebbe raggiungere un’efficienza fino a cinque volte superiore in termini di token generati al secondo per watt rispetto a un sistema non disaggregato utilizzato allo stesso livello di interattività. La stima è stata ottenuta utilizzando il modello Kimi 2.6 da un trilione di parametri e rappresenta una proiezione basata sulla modellazione delle rispettive piattaforme, non ancora un benchmark indipendente eseguito sulla soluzione commerciale definitiva.
L’architettura affronta uno dei principali problemi dell’inferenza su larga scala: la necessità di aumentare il numero complessivo di richieste elaborate senza peggiorare il tempo percepito dall’utente. Nei sistemi tradizionali, l’ottimizzazione del throughput attraverso batch più grandi può rallentare la generazione individuale, mentre la ricerca della latenza minima può ridurre il livello di utilizzo degli acceleratori. La separazione tra prefill e decode permette di dimensionare, scalare e aggiornare indipendentemente le risorse destinate alle due fasi.
Cerebras installerà i sistemi AMD Helios nei propri data center e renderà inizialmente disponibile l’infrastruttura congiunta attraverso Cerebras Cloud nella seconda metà del 2026. Le aziende non hanno ancora comunicato le caratteristiche dell’interconnessione utilizzata per trasferire gli stati del modello tra le due piattaforme, né i costi, le configurazioni commerciali e i risultati prestazionali completi.
La collaborazione trasforma quindi Helios da piattaforma rack-scale autonoma a componente di un’infrastruttura AI eterogenea, nella quale GPU, CPU e acceleratori specializzati vengono coordinati in base alla fase del carico di lavoro. Questo modello può diventare particolarmente rilevante per i servizi che utilizzano modelli di grandi dimensioni, contesti molto lunghi e agenti capaci di eseguire numerose operazioni consecutive, dove velocità di generazione, capacità complessiva ed efficienza energetica devono essere ottimizzate simultaneamente.