Meta ha reso pubblici i dettagli tecnici di Prometheus, il proprio supercluster per l’intelligenza artificiale situato a New Albany, nello Stato americano dell’Ohio, progettato per raggiungere una capacità di calcolo distribuita su circa un milione di GPU e un’infrastruttura energetica su scala gigawatt. Il sistema è stato sviluppato attraverso la riconversione e l’ampliamento di un sito che, due anni prima, ospitava un data center tradizionale destinato alla gestione del traffico web. Prometheus comprende attualmente centinaia di migliaia di acceleratori distribuiti tra edifici convenzionali, strutture ottimizzate per l’intelligenza artificiale e installazioni a realizzazione accelerata, collegati per operare come un unico sistema di elaborazione. La prima fase del progetto è già stata utilizzata per l’addestramento della famiglia di modelli fondazionali Muse, inclusi Muse Wonder, destinati secondo Meta ad attività agentiche personali e professionali. Durante il preaddestramento di Muse Wonder, il supercluster ha mantenuto un goodput superiore all’85%, mentre nelle attività di reinforcement learning ha superato il 90%. Meta ha inoltre registrato un intervallo medio tra le interruzioni equivalente a circa 47.000 ore-GPU, successivamente aumentato oltre 54.000 ore-GPU attraverso interventi sull’intera flotta, comprese correzioni firmware.
L’infrastruttura di calcolo utilizza due piattaforme NVIDIA già operative, denominate internamente Catalina e Clemente, alle quali si aggiungerà una terza generazione basata su Vera Rubin NVL72. Catalina impiega NVIDIA GB200 NVL72 nella configurazione Ariel a due rack, ciascuno contenente 36 GPU Blackwell, collegate attraverso NVLink per formare un dominio unificato di 72 acceleratori. Ogni GPU è associata a una CPU Grace e a due interfacce di rete ConnectX-7 da 400 Gbps, con rapporto CPU/GPU pari a 1:1 e capacità di comunicazione esterna complessiva di 800 Gbps per acceleratore. Meta ha adottato questa configurazione per evitare che il passaggio dalla precedente generazione H100 producesse uno squilibrio tra l’aumento della capacità computazionale interna e la larghezza di banda disponibile verso gli altri nodi. Catalina utilizza il progetto Open Rack V3 ad alta potenza, contribuito da Meta all’Open Compute Project, e mette a disposizione 13,4 TB di memoria HBM3e, equivalenti a 192 GB per GPU, 720 petaFLOPS di capacità teorica FP8, 1.440 petaFLOPS in FP4, 130 TB/s di banda NVLink e 576 TB/s di banda aggregata della memoria. Il consumo complessivo dichiarato per la coppia di rack è di circa 120 kW.
Clemente adotta invece NVIDIA GB300 NVL72 con acceleratori Blackwell Ultra e concentra l’intero dominio da 72 GPU in un singolo rack, grazie anche al passaggio a un rapporto di due GPU per CPU. La memoria HBM3e aumenta a 288 GB per acceleratore, raggiungendo 20,7 TB complessivi, mentre le prestazioni teoriche dense in FP4 superano un exaFLOP per rack. Rispetto a Catalina, la capacità di memoria per GPU cresce di circa il 50%, la potenza computazionale FP4 aumenta in misura analoga e l’accelerazione delle operazioni di attenzione, comprese quelle relative al softmax, risulta approssimativamente raddoppiata. Le interfacce ConnectX-8 SuperNIC supportano nativamente 800 Gbps per GPU, mentre la rete NVLink fornisce 130 TB/s aggregati, corrispondenti a 1,8 TB/s bidirezionali per acceleratore. Il consumo energetico del rack raggiunge circa 135 kW e Meta indica un miglioramento prestazionale compreso tra il 5% e il 10% rispetto alla piattaforma GB200 NVL72. Per la dissipazione termica sono previste configurazioni modulari di raffreddamento a liquido assistito dall’aria, denominate Air-Assisted Liquid Cooling, e sistemi Facility Liquid Cooling integrati negli edifici progettati specificamente per i carichi di intelligenza artificiale.
La rete di comunicazione del supercluster è organizzata attorno a un’infrastruttura Ethernet Back-End dedicata allo scambio diretto di dati tra GPU, separata dalla rete convenzionale del data center e progettata in funzione delle gerarchie di parallelismo dei grandi addestramenti distribuiti. Ogni fabric Ethernet a livello di edificio può collegare fino a 20.736 GPU. Una prima implementazione utilizzava una Disaggregated Scheduled Fabric, con instradamento multipercorso a livello di sotto-pacchetto e controllo del flusso end-to-end basato su crediti; il progetto è stato successivamente aggiornato a una Non-Scheduled Fabric costruita su switch da 51,2 Tbps con buffer poco profondi. Tra i componenti figurano Minipack3, dotati di Dynamic Load Balancing, e Minipack3N basati su NVIDIA Spectrum-4, che utilizzano Adaptive Routing attraverso le interfacce ConnectX. Entrambe le soluzioni eseguono lo stack di rete FBOSS sviluppato da Meta. Il collegamento tra edifici e aree geografiche differenti è affidato a una Backend Aggregation Network multilivello, con topologia hub-and-spoke, chassis Arista serie 7800 e chip Broadcom Jericho3 dotati di buffer profondi. Questa rete connette fabric distanti da circa 2 chilometri fino a oltre 100 chilometri, offrendo diversi petabit al secondo di capacità per coppia di regioni. Per mantenere efficiente l’addestramento su distanze simili è stato necessario affrontare anche i limiti fisici di propagazione dei segnali, con ottimizzazioni sviluppate insieme a Meta Superintelligence Labs. L’infrastruttura comprende complessivamente milioni di miglia di fibra ottica, decine di migliaia di switch e milioni di componenti ottici, inclusi moduli 2x400G FR4 LITE per collegamenti interni e transceiver coerenti 800G-ZR per distanze superiori a circa 10 chilometri.
Uno degli aspetti più complessi della progettazione riguarda l’affidabilità dell’architettura NVL72, che amplia da otto a 72 GPU il dominio di guasto rispetto ai precedenti sistemi H100 NVL8. Poiché le configurazioni di parallelismo più efficienti utilizzano frequentemente dimensioni pari a potenze di due, Meta impiega 64 GPU attive per ciascun dominio NVL72 e mantiene le altre otto come riserva interna, aggiungendo circa il 2% di rack supplementari. Un addestramento con 32.768 GPU attive richiede pertanto 523 rack NVL72, equivalenti a 37.656 acceleratori installati, circa il 13% in più rispetto alle GPU effettivamente impegnate nell’elaborazione. Di questo margine, circa undici punti percentuali derivano dalla scelta geometrica di utilizzare 64 acceleratori su 72, anziché da un requisito aggiuntivo di ridondanza. Ogni dominio comprende inoltre 5.184 collegamenti differenziali ottimizzati per segnali a 200 Gbps, distribuiti tra interfacce SerDes delle GPU, circuiti stampati, cartucce di cablaggio e moduli degli switch. Per il recupero dai guasti Meta utilizza Parallelism-Aware Fault Tolerance, che isola una replica difettosa del parallelismo sui dati consentendo alle altre di ripetere il passaggio di addestramento, e un sistema di checkpoint distribuiti asincroni con salvataggi differenziali e staging in memoria, impiegato quando l’interruzione coinvolge un dominio superiore a quello recuperabile localmente.
Durante la fase iniziale di Prometheus, a metà 2025, le interruzioni avevano raggiunto quasi 1.000 eventi giornalieri ogni 8.000 GPU. Dopo un anno di interventi coordinati tra i gruppi di ingegneria, Meta riferisce una riduzione del 99%, con l’obiettivo di arrivare a due interruzioni al giorno ogni 8.000 GPU, corrispondenti a circa 100.000 ore-GPU tra gli eventi. Gli interventi hanno riguardato l’integrità dei segnali su oltre 600.000 connessioni NVLink, l’affidabilità delle memorie HBM e LPDDR mediante parametri firmware aggiornati e rimozione preventiva dei dispositivi che mostrano segnali di degrado, il monitoraggio degli switch NVLink con risoluzione al millisecondo e il reinstradamento trasparente dei collegamenti di rete difettosi. Meta ha inoltre sviluppato un sistema automatizzato per distribuire pacchetti firmware a oltre 100.000 GPU nell’arco di poche ore, riducendo da più di sette a circa due ore il tempo al novantesimo percentile per l’aggiornamento di un singolo pod. La collaborazione con NVIDIA comprende personale tecnico direttamente presente nei data center, telemetria condivisa e procedure congiunte di diagnosi dei problemi.
La gestione energetica costituisce un ulteriore componente dell’architettura, poiché la sincronizzazione dei carichi di addestramento provoca variazioni transitorie di potenza comprese tra il 30% e il 40%, mentre l’avvio o l’interruzione di un grande processo può modificare in pochi secondi l’assorbimento di diverse decine di megawatt. Meta utilizza il framework Dynamo Dimmer per adeguare progressivamente i limiti di consumo delle GPU quando il sistema si avvicina alla capacità elettrica disponibile, evitando interruzioni brusche dei carichi. L’infrastruttura comprende batterie a livello di rack, moduli capacitivi, sistemi di accumulo energetico delle strutture e coordinamento con i fornitori di energia. Il raffreddamento combina impianti modulari assistiti dall’aria e circuiti di raffreddamento a liquido centralizzati, mentre nei data center più recenti vengono adottati sistemi direct-to-chip a circuito chiuso. Meta dichiara di sostenere integralmente il costo dell’energia utilizzata nel sito di New Albany e di compensarne il consumo attraverso nuova produzione di energia pulita e rinnovabile. Tra i progetti condivisi con l’Open Compute Project figura anche IcePack, un rack di rete raffreddato a liquido.
L’espansione di Prometheus prevede l’impiego congiunto di GB300 NVL72 e NVIDIA Vera Rubin NVL72. La futura piattaforma San Miguel utilizzerà 72 GPU Vera Rubin, ciascuna con 288 GB di memoria HBM4 e una larghezza di banda teorica di 19,2 TB/s, raggiungendo per rack 2,52 exaFLOPS di capacità FP4, 1,26 exaFLOPS FP8, 216 TB/s di banda NVLink e circa 1.500 TB/s di banda aggregata della memoria. Ogni GPU disporrà di 3 TB/s bidirezionali di comunicazione NVLink, mentre il consumo supererà 170 kW per rack, con raffreddamento completamente a liquido dei moduli di calcolo. Meta prevede un miglioramento delle prestazioni per watt compreso tra il 10% e il 20% rispetto alla generazione GB300 NVL72. Le soluzioni sviluppate per Prometheus contribuiranno inoltre alla realizzazione di Hyperion, il successivo supercluster previsto nella Richland Parish, in Louisiana, progettato fin dall’origine con sistemi di raffreddamento a circuito chiuso, nuove architetture di rete e collegamenti completi alla rete elettrica in collaborazione con Entergy, per i quali Meta dichiara di sostenere integralmente i costi.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)