NVIDIA ha avviato la produzione su larga scala di Groq 3 LPX, l’acceleratore per l’inferenza AI progettato per estendere la piattaforma Vera Rubin e aumentare la velocità di generazione dei token nei sistemi agentici. Il sistema è pensato in particolare per workload sensibili alla latenza e con finestre di contesto molto ampie, nei quali un agente può dover eseguire centinaia o migliaia di passaggi di inferenza prima di completare un’attività. In un benchmark indipendente condotto da Artificial Analysis con Gemma 4 31B e un contesto di 100.000 token, Groq 3 LPX ha raggiunto circa 3.400 token di output al secondo, con una misurazione tecnica pari a 3.431 token al secondo, risultando circa quattro volte più veloce della piattaforma alternativa più vicina nello stesso test.
Groq 3 LPX viene utilizzato insieme ai sistemi Vera Rubin NVL72 e combina l’elaborazione delle GPU Rubin con le LPU, le Language Processing Unit derivate dall’architettura di Groq. NVIDIA ha progettato questa configurazione per separare e distribuire in modo più efficiente le diverse fasi dell’inferenza: le GPU possono gestire le operazioni che richiedono elevata capacità di memoria, mentre le LPU vengono impiegate per le parti della decodifica nelle quali prevedibilità e bassa latenza diventano determinanti. L’esecuzione è pianificata in modo deterministico dal compilatore, con sovrapposizione tra calcolo e comunicazione e trasferimenti tra chip programmati in anticipo, così da ridurre le variazioni nella latenza tra un token e il successivo anche durante inferenze con contesti estesi.
Ogni rack LPX integra 256 acceleratori Groq 3 LPU interconnessi. Ogni LPU dispone di 500 MB di SRAM, offre 150 TB/s di larghezza di banda della memoria SRAM e 2,5 TB/s di banda per le connessioni scale-up. A livello di rack, il sistema mette quindi a disposizione 128 GB di SRAM affiancati da 12 TB di memoria DDR5, una configurazione progettata per combinare accesso estremamente rapido ai dati utilizzati durante la generazione dei token con capacità sufficiente per modelli e workload di grandi dimensioni. L’architettura viene utilizzata insieme alla memoria HBM delle GPU Rubin, consentendo a GPU e LPU di collaborare durante il calcolo dei diversi livelli del modello per ogni token prodotto.
I test mostrano che le prestazioni rimangono elevate anche modificando la lunghezza del contesto. Sullo stesso modello Gemma 4 31B, Artificial Analysis ha misurato una velocità mediana di 3.382 token al secondo con un contesto da 10.000 token e di 3.431 token al secondo con 100.000 token, senza rilevare perdita di precisione o qualità dell’output nella configurazione utilizzata. NVIDIA ha inoltre eseguito SPEED-Bench, benchmark rivolto ai workload di coding, ottenendo una velocità mediana di 4.767 token al secondo e un valore P80 di 5.520 token al secondo, con oltre il 20% dei problemi completati a più di 5.500 token al secondo.
La velocità di generazione assume particolare importanza nei sistemi agentici perché il numero di token prodotti durante l’esecuzione può essere molto superiore rispetto a quello di una normale interazione con un modello linguistico. Secondo NVIDIA, le applicazioni agentiche possono consumare fino a 15 volte più token rispetto alle applicazioni AI tradizionali. Groq 3 LPX è quindi orientato a casi d’uso come coding agentico, sistemi multiagente e applicazioni interattive nelle quali il modello deve eseguire numerosi cicli di ragionamento e azione mantenendo tempi di risposta ridotti. La piattaforma supporta anche configurazioni nelle quali prefill e decode vengono separati, attention e feed-forward network vengono distribuiti tra componenti differenti oppure LPX viene impiegato come sistema esterno per la speculative decoding. Questa architettura permette di estendere l’approccio anche a modelli con oltre 2.000 miliardi di parametri.
NVIDIA stima che l’abbinamento tra Vera Rubin NVL72 e LPX possa offrire fino a 35 volte più throughput per megawatt nell’inferenza di modelli nell’ordine dei trilioni di parametri. La società indica inoltre una potenziale capacità di generare fino a dieci volte più ricavi per watt nelle fasce di inferenza a maggiore valore, sulla base del throughput ottenibile dalle AI factory e di modelli di prezzo differenziati per milione di token. Si tratta in questo caso di proiezioni NVIDIA legate alla configurazione della piattaforma e ai relativi modelli economici, non di risultati finanziari già realizzati.
Nebius è il primo cloud AI annunciato come utilizzatore di NVIDIA Groq 3 LPX, mentre la stessa Groq sarà tra i primi operatori a integrare LPX e Vera Rubin NVL72 nella propria infrastruttura cloud dedicata all’inferenza, lavorando con Dell Technologies per il deployment. Parallelamente CoreWeave ha già portato in produzione Spectrum-X Multiplane per collegare rack Vera Rubin attraverso più switch paralleli, mentre SpaceXAI ha annunciato l’utilizzo delle CPU NVIDIA Vera per la propria prossima generazione di sistemi agentici. Groq 3 LPX entra così nella piattaforma Vera Rubin come componente specificamente dedicato alla generazione dei token a bassa latenza, affiancando le GPU Rubin nei workload di inferenza più interattivi e con maggiore utilizzo del contesto.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)