Celestial AI, una società sviluppatrice di tecnologie di interconnessione ottica, ha annunciato di aver completato con successo un round di finanziamento di serie B, raccogliendo $100 milioni per la sua piattaforma tecnologica Photonic Fabric. L’investimento è stato guidato da IAG Capital Partners, Koch Disruptive Technologies (KDT) e il fondo Xora Innovation di Temasek.
Tra gli altri partecipanti figurano Samsung Catalyst, Smart Global Holdings (SGH), Porsche Automobil Holding SE e The Engine Fund. In totale, Celestial AI ha raccolto $165 milioni dal finanziamento iniziale fino alla serie B.
Secondo Celestial AI, la loro piattaforma Photonic Fabric rappresenta un notevole progresso in termini di prestazioni di connettività ottica, superando le tecnologie attualmente disponibili. La società ha collaborato con fornitori di servizi cloud (CSP), data center iperscalabili e aziende specializzate in intelligenza artificiale (AI) per affrontare le sfide connesse alla scalabilità della memoria e del calcolo, noto anche come “muro di memoria”.
I limiti delle attuali interconnessioni elettriche, come la limitata larghezza di banda, l’elevata latenza e il consumo energetico, ostacolano la crescita dei modelli di business basati sull’IA e il progresso nell’ambito dell’IA.
Per superare queste sfide, Celestial AI ha sviluppato Photonic Fabric in collaborazione con aziende specializzate in AI, calcolo di intelligenza artificiale e fornitori di memoria. Questa soluzione di interconnessione ottica è progettata per supportare l’elaborazione disaggregata, l’exascale e i cluster di memoria.
La tecnologia proprietaria di Celestial AI, Optical Compute Interconnect (OCI), consente la scalabilità della memoria nel data center e l’accelerazione del calcolo.
Il CEO di Celestial AI, Dave Lazovsky, ha dichiarato: “Uno dei problemi chiave del futuro riguarda la capacità di memoria, la larghezza di banda e il movimento dei dati (l’interconnessione chip-to-chip) per i modelli di linguaggio di grandi dimensioni (LLM) e i carichi di lavoro dei motori di raccomandazione. La nostra tecnologia Photonic Fabric consente l’integrazione diretta della fotonica nel tuo silicio. Un vantaggio fondamentale è che la nostra soluzione consente di fornire dati a qualsiasi punto del chip in silicio fino al punto di elaborazione, mentre le soluzioni concorrenti come Co-Packaged Optics (CPO) non possono farlo, fornendo solo dati ai bordi del chip”.
Lazovsky ha sottolineato che Photonic Fabric ha risolto con successo il problema dell’interconnessione fornendo una larghezza di banda significativamente maggiore (1,8 Tbps/mm²) con latenze nell’ordine dei nanosecondi. Di conseguenza, la piattaforma offre collegamenti completamente fotonici tra calcolo e memoria e tra calcolo e calcolo.
Il recente round di finanziamento ha anche attirato l’attenzione di Broadcom, che sta collaborando con Celestial AI nello sviluppo di prototipi basati sulla tecnologia Photonic Fabric. L’azienda prevede che questi prototipi saranno pronti per la spedizione ai clienti entro i prossimi 18 mesi.
Lazovsky ha affermato che, con l’aumento del volume dei dati trasferiti all’interno dei data center, è necessario aumentare anche la velocità di trasmissione dei dati. Ha spiegato che, all’aumentare di queste velocità, le interconnessioni elettriche incontrano problemi come la perdita di fedeltà del segnale e una larghezza di banda limitata che non riesce a scalare con la crescita dei dati, limitando così l’efficienza complessiva del sistema.
Secondo Celestial AI, la trasmissione a bassa latenza dei dati tramite Photonic Fabric consente di collegare e disaggregare un numero significativamente maggiore di server rispetto alle tradizionali interconnessioni elettriche. Questa bassa latenza consente inoltre alle applicazioni sensibili alla latenza di utilizzare la memoria remota, una possibilità precedentemente irraggiungibile con le tradizionali interconnessioni elettriche.
“Lasciamo agli hyperscaler e ai data center la possibilità di disaggregare la memoria e le risorse di elaborazione senza compromettere potenza, latenza e prestazioni”, ha dichiarato Lazovsky a VentureBeat. “L’utilizzo inefficiente della memoria DRAM nei server comporta sprechi per decine di milioni, se non miliardi, di dollari tra hyperscaler e aziende. Consentendo la disaggregazione della memoria e la creazione di un pool di memoria, non solo aiutiamo a ridurre il costo della memoria, ma dimostriamo anche un utilizzo più efficiente”.
La società afferma che la sua nuova soluzione consente di fornire dati da qualsiasi punto del chip in silicio direttamente al punto di elaborazione. Celestial AI sostiene che Photonic Fabric supera i limiti delle tradizionali interconnessioni al bordo del silicio, offrendo una larghezza di banda del pacchetto di 1,8 Tbps/mm², che è 25 volte superiore rispetto a quella offerta da CPO. Inoltre, inviando i dati direttamente al punto di elaborazione anziché al bordo del chip, Photonic Fabric raggiunge una latenza 10 volte inferiore.
Celestial AI punta a semplificare il calcolo aziendale per i modelli di linguaggio di grandi dimensioni come GPT-4, PaLM e i modelli di raccomandazione di deep learning (DLRM), che possono contenere da 100 miliardi a oltre 1 trilione di parametri.
Lazovsky ha spiegato che poiché i processori AI (GPU, ASIC) hanno una quantità limitata di memoria a larghezza di banda elevata (da 32 GB a 128 GB), le aziende oggi devono connettere da centinaia a migliaia di questi processori per gestire questi modelli. Tuttavia, questo approccio riduce l’efficienza del sistema e fa aumentare i costi.
“Aumentando la capacità di memoria indirizzabile di ciascun processore a larghezza di banda elevata, Photonic Fabric consente a ciascun processore di archiviare ed elaborare blocchi di dati più grandi, riducendo il numero di processori necessari”, ha aggiunto. “Fornire collegamenti chip-to-chip veloci consente al processore connesso di elaborare il modello più velocemente, aumentando il throughput e riducendo i costi”.
Lazovsky ha affermato che il denaro raccolto in questo round verrà utilizzato per accelerare la produzione e la commercializzazione della piattaforma tecnologica Photonic Fabric espandendo i team di ingegneria, vendite e marketing tecnico di Celestial AI.
“Data la crescita dei carichi di lavoro di intelligenza artificiale generativa dovuta agli LLM e alle pressioni che esercita sulle attuali architetture dei data center, la domanda sta aumentando rapidamente per la connettività ottica per supportare la transizione dall’infrastruttura di data center di calcolo generale all’accelerazione del calcolo”, ha dichiarato Lazovsky a VentureBeat. “Prevediamo di aumentare l’organico di circa il 30% entro la fine del 2023 a 130 dipendenti”.
Ha affermato che man mano che l’utilizzo di LLM si espande in varie applicazioni, anche i costi dell’infrastruttura aumenteranno proporzionalmente, portando a margini negativi per molte applicazioni software su scala Internet. Inoltre, i data center stanno raggiungendo limiti di potenza, limitando la quantità di elaborazione che può essere aggiunta.
Per affrontare queste sfide, Lazovsky mira a ridurre al minimo la dipendenza da processori costosi fornendo soluzioni di interconnessione chip-to-chip e chip-memoria ad alta larghezza di banda e bassa latenza. Ha affermato che questo approccio ha lo scopo di ridurre le spese in conto capitale delle imprese e migliorare l’efficienza delle loro infrastrutture esistenti.
“Infrangendo il muro della memoria e contribuendo a migliorare l’efficienza dei sistemi, miriamo a contribuire a plasmare la direzione futura del progresso e dell’adozione del modello di intelligenza artificiale attraverso le nostre nuove offerte”, ha affermato. “Se la capacità di memoria e la larghezza di banda non sono più un fattore limitante, consentiranno ai data scientist di sperimentare architetture di modelli più grandi o diverse per sbloccare nuove applicazioni e casi d’uso. Riteniamo che riducendo il costo dell’adozione di modelli di grandi dimensioni, più aziende e applicazioni sarebbero in grado di adottare più rapidamente gli LLM”.