NVIDIA ha registrato un nuovo livello di prestazioni nel pre-addestramento dei grandi modelli Mixture-of-Experts utilizzando la piattaforma rack-scale GB300 NVL72. In una prova condotta su DeepSeek-V3, modello da 671 miliardi di parametri complessivi, una configurazione composta da 256 GPU Blackwell Ultra ha raggiunto 1.648 teraflops per GPU, contro i 606 teraflops ottenuti in precedenza con GB200 NVL72. L’incremento si avvicina quindi a tre volte la capacità di calcolo effettivamente utilizzata dal carico di lavoro, senza aumentare il numero di acceleratori impiegati.
Il risultato non dipende soltanto dalla maggiore potenza teorica delle nuove GPU. L’addestramento dei modelli MoE è condizionato da un equilibrio complesso tra calcolo, memoria, comunicazione interna al rack, rete tra rack e capacità del software di distribuire correttamente il lavoro. GB300 NVL72 è stato progettato come un sistema integrato nel quale acceleratori, processori, interconnessioni, componenti di rete e framework di addestramento vengono ottimizzati insieme, con l’obiettivo di limitare le attese che possono lasciare inutilizzata una parte rilevante della capacità disponibile.
I modelli Mixture-of-Experts contengono numerosi blocchi specializzati, definiti esperti, ma ne attivano soltanto una parte durante l’elaborazione di ciascun token. DeepSeek-V3 possiede 671 miliardi di parametri totali, mentre per ogni passaggio ne utilizza circa 37 miliardi. Questa architettura permette di aumentare la capacità complessiva del modello senza sostenere per ogni token il costo computazionale dell’intera rete, ma introduce un problema infrastrutturale: i token devono essere instradati verso esperti collocati su GPU differenti e i risultati devono essere successivamente ricombinati.
Il vantaggio teorico del calcolo sparso può quindi essere ridotto dalla quantità di dati che attraversa l’infrastruttura. Durante l’addestramento, ogni GPU invia e riceve continuamente informazioni dalle altre attraverso operazioni All-to-All. Diversamente dai modelli densi, nei quali una sequenza tende a seguire un percorso computazionale più prevedibile, nei MoE la destinazione dei token cambia in base alle decisioni del router interno. Il sistema deve sostenere trasferimenti frequenti, irregolari e distribuiti senza trasformare la rete nel principale collo di bottiglia.
Con l’aumento dell’efficienza dei Tensor Core, il tempo necessario per eseguire le operazioni matematiche diminuisce e la comunicazione assume un peso proporzionalmente maggiore. Una GPU più veloce non produce automaticamente un addestramento più rapido se deve attendere che i dati arrivino dagli altri acceleratori. Per questo motivo, le prestazioni dei modelli MoE devono essere valutate considerando non soltanto i teraflops teorici del singolo chip, ma anche la quantità di calcolo realmente mantenuta durante l’esecuzione distribuita.
GB300 NVL72 riunisce in un rack 72 GPU Blackwell Ultra e 36 CPU Grace, collegate attraverso NVLink di quinta generazione. L’interconnessione mette a disposizione 130 terabyte al secondo di banda aggregata all’interno del rack e consente a ciascuna GPU di raggiungere la memoria HBM delle altre attraverso un percorso diretto. L’intero dominio NVLink può così comportarsi come un acceleratore composto da più chip, riducendo il numero di passaggi necessari rispetto alle architetture che instradano i trasferimenti attraverso PCIe, schede di rete e switch esterni.
L’accesso diretto alla memoria remota è particolarmente importante nei carichi MoE, perché gli esperti possono essere distribuiti tra numerosi acceleratori. La modalità memory-semantic permette alle GPU di leggere e scrivere dati nella memoria delle unità vicine senza trasformare ogni operazione in una comunicazione di rete convenzionale. La riduzione della latenza rende più efficiente lo scambio di token e gradienti, limitando le pause tra una fase computazionale e quella successiva.
Ogni GPU dispone inoltre di una connessione da 800 gigabit al secondo attraverso ConnectX-8 SuperNIC. Quando il modello viene distribuito su più rack, il traffico può essere gestito tramite Quantum-X800 InfiniBand oppure Spectrum-X Ethernet. Questa rete scale-out deve mantenere elevato il throughput anche quando l’addestramento supera il singolo dominio da 72 GPU e coinvolge centinaia o migliaia di acceleratori.
La piattaforma include anche BlueField DPU, processori dedicati alle funzioni infrastrutturali. Operazioni come accesso allo storage, networking virtuale, sicurezza, telemetria e gestione del ciclo di vita possono essere spostate dalle CPU principali alle DPU, evitando che attività di servizio sottraggano risorse al processo di addestramento. La separazione riduce inoltre le interferenze tra il carico AI e le funzioni necessarie per amministrare il cluster.
Il miglioramento rispetto a GB200 NVL72 riflette anche l’evoluzione di Blackwell Ultra. GB300 offre una maggiore capacità di elaborazione nei formati numerici a bassa precisione, un’accelerazione superiore delle operazioni di attenzione e una quantità più elevata di memoria HBM3E. Il rack integra circa 20 terabyte di memoria GPU con una larghezza di banda aggregata che può raggiungere 576 terabyte al secondo, oltre alla memoria associata alle CPU Grace. Queste risorse consentono di distribuire modelli, stati dell’ottimizzatore, gradienti e batch più ampi senza dipendere continuamente da livelli di memoria più lenti.
Nel pre-addestramento di un modello da centinaia di miliardi di parametri, la capacità di memoria determina il modo in cui il carico viene suddiviso. Se un singolo acceleratore non può contenere la porzione assegnata, il framework deve aumentare il grado di parallelismo, frammentare ulteriormente i tensori o spostare dati verso memoria CPU e storage. Ognuna di queste strategie introduce comunicazioni aggiuntive. Una maggiore quantità di HBM permette quindi di utilizzare configurazioni più efficienti e di ridurre alcuni trasferimenti che non contribuiscono direttamente all’apprendimento.
La misurazione di 1.648 teraflops per GPU è stata ottenuta con Megatron Core, il framework NVIDIA dedicato all’addestramento distribuito dei modelli di frontiera. Il software combina diverse forme di parallelismo per ripartire il lavoro tra gli acceleratori. Il tensor parallelism divide le operazioni interne ai livelli, il pipeline parallelism distribuisce gruppi di livelli tra dispositivi differenti, il data parallelism replica parti del modello su più gruppi di GPU e l’expert parallelism assegna i diversi esperti MoE a unità specifiche.
La difficoltà non consiste semplicemente nell’attivare queste tecniche, ma nel combinarle evitando che una forma di parallelismo rallenti le altre. Una configurazione troppo frammentata può aumentare la quantità di comunicazione, mentre una distribuzione meno aggressiva può superare la memoria disponibile. Megatron Core seleziona e coordina le strategie in funzione della struttura del modello, del numero di GPU, della topologia di rete e della dimensione dei batch, cercando di sovrapporre il trasferimento dei dati alle operazioni matematiche.
NVIDIA ha rilevato che, sullo stesso hardware GB300 NVL72, le prestazioni di DeepSeek-V3 sono aumentate da 1.088 a 1.648 teraflops per GPU nell’arco di sei mesi. L’incremento di circa una volta e mezza è stato ottenuto senza modificare i componenti fisici, intervenendo sul software, sui kernel, sulla distribuzione del modello e sulla gestione delle comunicazioni. Questo dato mostra quanto la capacità effettiva di una piattaforma AI possa continuare a crescere dopo la consegna dell’hardware.
I valori di picco dichiarati nelle specifiche di una GPU descrivono infatti soltanto la quantità massima di operazioni che il chip può eseguire in condizioni ideali. Nei carichi reali, una parte del tempo viene impiegata per spostare dati, sincronizzare dispositivi, attendere memoria, eseguire operazioni non perfettamente compatibili con i Tensor Core e coordinare i processi distribuiti. L’ottimizzazione software serve ad aumentare la percentuale della capacità teorica trasformata in lavoro utile.
Il lavoro non riguarda soltanto Megatron Core. NVIDIA ha contribuito anche all’ottimizzazione di TorchTitan, stack nativo PyTorch per il training distribuito, e di JAX, ambiente utilizzato nella ricerca e nello sviluppo di sistemi AI su larga scala. Su GB300 NVL72, gli interventi applicati a TorchTitan hanno prodotto un incremento complessivo di circa sei volte rispetto alle prime configurazioni, mentre l’implementazione JAX è migliorata quasi dieci volte in sei mesi, raggiungendo 1.025 teraflops per GPU nell’addestramento di DeepSeek-V3 con 256 acceleratori.
Questi risultati indicano che la piattaforma non è vincolata a un unico framework proprietario. Le organizzazioni possono utilizzare stack differenti mantenendo l’accesso alle principali ottimizzazioni hardware, anche se i livelli di prestazione non sono necessariamente identici. La disponibilità di framework open source efficienti è importante per i laboratori che hanno costruito pipeline personalizzate su PyTorch o JAX e non intendono trasferirle interamente su un ambiente diverso.
La prova ha analizzato anche la scalabilità del sistema. Passando da 256 a 1.024 GPU, Megatron Core ha conservato il 98,5% delle prestazioni per acceleratore, mentre TorchTitan e JAX si sono mantenuti intorno al 97%. In una scalabilità perfettamente lineare, quadruplicare il numero di GPU dovrebbe quadruplicare il throughput complessivo. Nella pratica, l’efficienza tende a diminuire perché aumentano sincronizzazioni, trasferimenti e dipendenze tra dispositivi.
Mantenere quasi invariata la capacità per GPU significa che la maggior parte dell’hardware aggiuntivo contribuisce direttamente ad aumentare la velocità del training. Con un’efficienza del 98,5%, l’espansione a 1.024 acceleratori produce un risultato vicino a quattro volte quello ottenuto con 256 unità, invece di disperdere una quota rilevante dell’investimento nella gestione del cluster. Il risultato dipende dalla capacità della rete da 800 gigabit per GPU di mantenere il traffico dei gradienti e degli esperti sovrapposto al calcolo.
La scalabilità ha conseguenze economiche dirette. I grandi modelli vengono addestrati su infrastrutture che richiedono investimenti molto elevati in acceleratori, networking, alimentazione e raffreddamento. Una riduzione anche limitata dell’efficienza per GPU, moltiplicata per migliaia di unità e per settimane di elaborazione, può trasformarsi in una quantità significativa di capacità inutilizzata. Al contrario, mantenere elevato il throughput riduce il tempo necessario per completare l’esperimento o consente di utilizzare meno hardware per raggiungere lo stesso risultato.
Il confronto tra GB200 e GB300 deve comunque essere interpretato considerando che le due misurazioni non rappresentano soltanto un confronto isolato tra generazioni di silicio. Il risultato precedente su GB200 utilizzava una versione meno matura dello stack software, mentre quello su GB300 beneficia delle ottimizzazioni sviluppate successivamente. L’incremento di circa tre volte esprime quindi il progresso dell’intera piattaforma, composto da nuovi acceleratori, interconnessioni più efficienti e software aggiornato, non esclusivamente la differenza tra i singoli chip.
Questa impostazione corrisponde alla strategia full-stack di NVIDIA. L’azienda controlla GPU, CPU, interconnessione all’interno del rack, schede di rete, switch, DPU, librerie, compilatori, kernel e framework di training. La progettazione congiunta permette di adattare ogni livello alle caratteristiche dei carichi emergenti, ma aumenta anche il grado di integrazione tra hardware e software necessario per raggiungere le prestazioni dichiarate.
Per i gestori delle AI factory, il vantaggio principale consiste nella possibilità di completare lo stesso lavoro utilizzando meno rack o in un intervallo inferiore. Ridurre il numero di sistemi necessari significa contenere non soltanto il costo degli acceleratori, ma anche quello della rete, dello spazio nel data center, del raffreddamento a liquido e della potenza elettrica. In alternativa, mantenendo invariata la dimensione del cluster, l’organizzazione può eseguire più cicli di addestramento e confrontare un numero maggiore di configurazioni.
Il pre-addestramento dei modelli di frontiera richiede infatti numerosi esperimenti prima di arrivare alla versione definitiva. Cambiamenti nei dati, nel router MoE, nel numero degli esperti o nei parametri di ottimizzazione possono richiedere nuove esecuzioni. Una piattaforma più rapida non serve soltanto a ridurre la durata del training conclusivo, ma accelera l’intero processo di ricerca, consentendo ai team di verificare più ipotesi nello stesso periodo.
La crescita dei modelli MoE rende inoltre l’infrastruttura di comunicazione sempre più importante rispetto alla sola capacità aritmetica. La riduzione dei parametri attivati per token permette di costruire reti molto grandi senza moltiplicare nella stessa misura il costo di calcolo, ma trasferisce una parte della complessità nel movimento dei dati. Quando gli esperti vengono distribuiti su centinaia di GPU, il cluster deve essere progettato come un unico sistema coordinato e non come una semplice somma di acceleratori indipendenti.
GB300 NVL72 rappresenta questa trasformazione verso l’elaborazione rack-scale. Le 72 GPU interconnesse, la memoria aggregata e la rete ad alta velocità formano l’unità di base sulla quale vengono successivamente costruiti cluster più ampi. Il rack diventa quindi un componente computazionale integrato, con caratteristiche che devono essere valutate nel loro insieme, comprese alimentazione, raffreddamento, gestione operativa e capacità di mantenere prestazioni elevate durante l’espansione.
Il risultato ottenuto con DeepSeek-V3 mostra che l’evoluzione dell’addestramento AI non dipende più soltanto dalla produzione di GPU più potenti. Per sfruttare realmente l’aumento dei teraflops è necessario eliminare i tempi di attesa tra memoria, rete e calcolo, adattare i framework alle nuove topologie e aggiornare continuamente il software. L’incremento registrato sullo stesso hardware in soli sei mesi conferma che una parte crescente del vantaggio competitivo delle infrastrutture AI deriva dalla capacità di ottimizzare l’intero stack nel tempo.
Per le organizzazioni che addestrano modelli di grandi dimensioni, la metrica più significativa non è quindi la potenza nominale del singolo acceleratore, ma il throughput effettivamente sostenuto dal sistema completo. Un’infrastruttura capace di conservare quasi integralmente le prestazioni quando passa da centinaia a oltre mille GPU può ridurre i costi per esperimento e aumentare la produttività della capacità installata. Con GB300 NVL72, NVIDIA punta a trasformare il miglioramento del silicio, della rete e del software in un aumento misurabile del lavoro utile prodotto da ogni GPU.