Oracle ha annunciato nuove funzionalità di networking per Oracle Cloud Infrastructure attraverso la tecnologia Acceleron, introducendo il supporto RDMA nelle reti front-end, meccanismi avanzati di gestione della congestione e capacità di failover multiplanare destinate ai sistemi di intelligenza artificiale distribuiti. Le modifiche riguardano la comunicazione tra server, acceleratori, infrastrutture di storage e applicazioni che richiedono elevate prestazioni di trasferimento dei dati. L’obiettivo tecnico è ridurre la latenza e il coinvolgimento delle CPU nei trasferimenti, mantenendo prestazioni stabili quando sulla stessa infrastruttura convivono traffico RDMA e comunicazioni convenzionali basate su TCP. La tecnologia Remote Direct Memory Access permette infatti di trasferire dati direttamente tra le memorie di sistemi differenti, evitando parte delle elaborazioni normalmente necessarie nello stack di rete del sistema operativo.
Uno dei problemi affrontati riguarda la gestione della congestione in ambienti dove differenti protocolli condividono la banda. Il traffico RDMA utilizza generalmente algoritmi di controllo basati sulla velocità di trasmissione, mentre TCP impiega meccanismi fondati su finestre di congestione. La presenza contemporanea dei due sistemi può determinare condizioni di utilizzo non equilibrato delle risorse. Le SmartNIC Oracle Acceleron introducono per questo una struttura gerarchica di token bucket che contabilizza il consumo della banda per le diverse classi di traffico. Un contenitore principale rappresenta la capacità condivisa, mentre contenitori subordinati assegnano risorse alle singole classi. Quando i token disponibili diminuiscono, la SmartNIC genera segnali di congestione attraverso marcature Explicit Congestion Notification oppure scarto controllato dei pacchetti non compatibili con tali segnalazioni. L’algoritmo consente inoltre a una classe di traffico di utilizzare temporaneamente la banda inutilizzata da un’altra, mantenendo un comportamento work-conserving.
Per gestire la congestione all’interno della rete, Acceleron utilizza misurazioni del ritardo unidirezionale anziché affidarsi esclusivamente ai tempi di andata e ritorno. Questo permette di distinguere i rallentamenti del percorso effettivamente utilizzato da quelli presenti sul tragitto opposto. Quando viene rilevato un aumento del ritardo, la SmartNIC verifica tre percorsi alternativi e può trasferire il flusso su quello che presenta condizioni migliori. Se non individua una soluzione più efficiente, segnala la congestione attraverso ECN o altri meccanismi di controllo. Il supporto RDMA front-end comprende i diversi tipi di queue pair e le operazioni previste dalle interfacce RDMA, consentendo alle applicazioni compatibili di utilizzare l’infrastruttura senza modifiche al codice.
Oracle introduce inoltre la Oracle Collective Communications Library, denominata OCCL, e Transparent Front-End Multiplanar Networking. OCCL opera come plugin per le librerie di comunicazione collettiva utilizzate dai framework AI e distribuisce i messaggi tra più connessioni RDMA, adattando il carico in funzione delle prestazioni osservate e dello stato dei percorsi. La libreria utilizza tecniche di bilanciamento a livello di messaggio e di blocco di dati, assegnando una quota maggiore di traffico alle connessioni che mantengono throughput più elevati. In presenza di congestione o di guasti, il sistema può trasferire le comunicazioni verso percorsi alternativi, supportando il ripristino a livello di porta e di interfaccia di rete senza richiedere necessariamente il riavvio dell’addestramento distribuito.
Transparent Front-End Multiplanar Networking estende alle reti front-end la possibilità di utilizzare più piani di comunicazione indipendenti, con selezione trasparente dei percorsi e failover automatico. Nei sistemi di addestramento distribuito, nei quali numerosi acceleratori devono sincronizzare continuamente gradienti e altri dati, un singolo collegamento lento può compromettere le prestazioni dell’intero gruppo. Le nuove funzioni Oracle consentono di reagire alle condizioni effettive della rete anziché assegnare i flussi esclusivamente attraverso criteri statici di instradamento. L’architettura punta inoltre a rendere disponibili i vantaggi delle reti multiplanari anche quando l’hardware utilizzato non integra interfacce specializzate dedicate esclusivamente a questa funzione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).