KAIST, la startup fabless Panmnesia e ricercatori di Meta hanno presentato un’architettura per data center AI di nuova generazione progettata per collegare in modo più stretto CPU, acceleratori e memoria, riducendo la separazione tradizionale tra i singoli server. Il lavoro, pubblicato come review paper su Nature Reviews Electrical Engineering, nasce dalla collaborazione tra il gruppo del professor Myoungsoo Jung del Dipartimento di Ingegneria Elettrica ed Elettronica del KAIST, Panmnesia e Meta. Panmnesia è una società fondata da docenti del KAIST e lavora su tecnologie di interconnessione e semiconduttori per sistemi ad alte prestazioni.
Nei data center tradizionali, più computer cooperano attraverso la rete mantenendo però una separazione relativamente netta tra le risorse dei singoli server. L’architettura proposta punta invece a ridurre questi confini collegando CPU, acceleratori AI e memoria attraverso CXL, Compute Express Link, con l’obiettivo di far funzionare l’intero data center in modo più simile a un unico grande sistema di elaborazione. Tecnologie come NVLink di NVIDIA e UALink consentono già di creare collegamenti ad alta velocità tra numerosi acceleratori, ma sono orientate soprattutto alle connessioni interne a un rack; l’approccio sviluppato dal gruppo Panmnesia-Meta estende invece il dominio di interconnessione anche alle CPU e alla memoria e mira a portarlo su scala data center.
Secondo i risultati presentati dai ricercatori, un singolo dominio di connessione basato su questa architettura può comprendere fino a 960 acceleratori AI, una capacità indicata come circa 13 volte superiore rispetto a quella di un rack basato sull’attuale interconnessione NVLink. Anche la latenza nello spostamento dei dati potrebbe essere ridotta in modo significativo: mentre nelle architetture convenzionali il trasferimento può richiedere tempi dell’ordine dei microsecondi, pari a milionesimi di secondo, il nuovo schema consentirebbe di scendere nell’ordine di alcune centinaia di nanosecondi, cioè miliardesimi di secondo. Nei carichi AI distribuiti, in cui modelli e dataset devono essere continuamente trasferiti tra acceleratori e memoria, differenze apparentemente molto piccole nella latenza possono accumularsi e incidere sulle prestazioni complessive del sistema.
L’uso di CXL come tessuto comune tra CPU, acceleratori e memoria permetterebbe inoltre una gestione più flessibile delle risorse. I diversi componenti potrebbero essere trattati come pool relativamente indipendenti, consentendo di sostituire soltanto l’elemento guasto invece di intervenire sull’intero server e di riallocare capacità di calcolo o memoria rimasta inutilizzata verso i workload che ne hanno maggiore necessità. Questo modello punta quindi a migliorare non solo la velocità delle comunicazioni interne, ma anche l’utilizzo delle risorse hardware e la modularità dell’infrastruttura, aspetti che diventano sempre più importanti con l’aumento delle dimensioni dei modelli AI e del numero di acceleratori necessari per addestramento e inferenza.
Secondo Myoungsoo Jung, professore al KAIST e CEO di Panmnesia, con la crescita dei sistemi AI non è più sufficiente aumentare soltanto le prestazioni del singolo acceleratore: diventa altrettanto importante riuscire a collegare rapidamente ed efficientemente un numero molto elevato di acceleratori e moduli di memoria. L’architettura proposta con Meta affronta proprio questo problema spostando l’attenzione dalla potenza del singolo dispositivo all’organizzazione dell’intero data center come sistema di calcolo interconnesso.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)