Cerebras Systems, pioniere nell’accelerazione dell’intelligenza artificiale, e G42, una società tecnologica con sede negli Emirati Arabi Uniti, hanno presentato il supercomputer più grande al mondo per l’addestramento dell’IA, chiamato Condor Galaxy.
La rete di nove supercomputer interconnessi promette di ridurre significativamente i tempi di addestramento dei modelli di intelligenza artificiale, con una capacità totale di 36 exaFLOP. Il primo supercomputer della rete, Condor Galaxy 1 (CG-1), vanta 4 exaFLOP e 54 milioni di core, come dichiarato da Andrew Feldman, CEO di Cerebras, in un’intervista a VentureBeat.
Invece di creare chip singoli per le sue unità di elaborazione centralizzate (CPU), Cerebras prende interi wafer di silicio e stampa i suoi core su di essi, che hanno le dimensioni di una pizza. Questi wafer contengono l’equivalente di centinaia di chip su un singolo wafer, con molti core su ciascun wafer. È così che riescono ad ottenere 54 milioni di core in un singolo supercomputer.
Nell’intervista, Feldman ha dichiarato: “L’intelligenza artificiale non sta solo influenzando gli Stati Uniti. Sta influenzando il mondo intero. C’è una domanda insaziabile di calcolo. I modelli stanno proliferando. E i dati sono il nuovo oro. Questo è il nostro fondamento”.
Con questo supercomputer, si possono ottenere risultati due volte più velocemente utilizzando la metà dell’energia, ha affermato Feldman. “Siamo i più grandi al mondo. L’abbiamo venduto a una società chiamata G42, con sede ad Abu Dhabi. L’abbiamo installato a Santa Clara, in California, e attualmente stiamo eseguendo lavori di intelligenza artificiale”, ha detto Feldman. “Lo gestiamo e lo operiamo attraverso il nostro cloud. Viene utilizzato da G42 per lavori interni e l’eventuale capacità in eccesso viene rivenduta da loro o da noi. Questo è il primo di tre supercomputer che intendiamo costruire per loro negli Stati Uniti nell’anno successivo. E i primi nove supercomputer li costruiremo per loro entro i prossimi 18 mesi. Quando questi nove saranno collegati, formeranno una costellazione di 36 exaflop di supercomputer”.
Condor Galaxy è il nome del supercomputer, che scala da uno a 32 computer CS-2 grazie alla tecnologia Memory X e Swarm X dell’azienda. La macchina è stata assemblata a Santa Clara in 10 giorni ed è già uno dei più grandi supercomputer del mondo, ha affermato Feldman.
La seconda macchina sarà a Austin, in Texas, e la terza a Asheville, nella Carolina del Nord. Il valore dell’accordo per la seconda fase supera i 100 milioni di dollari.
“È davvero incredibile. Quando avremo finito, avremo nove supercomputer, ognuno con quattro exaFLOP, collegati tra loro per creare una costellazione distribuita di 36 exaFLOP di intelligenza artificiale. Saranno quasi 500 milioni di core su 576 sistemi CS-2 con una larghezza di banda interna di 3.490 terabyte. E avremo bisogno di oltre mezzo miliardo di core AMD Epyc solo per fornire dati”.
Cerebras e G42 prevedono di distribuire altri due supercomputer simili, CG-2 e CG-3, negli Stati Uniti all’inizio del 2024. Con questa rete senza precedenti di supercomputer, puntano a rivoluzionare il progresso dell’IA a livello globale.
Collocato a Santa Clara, in California, CG-1 collega 64 sistemi Cerebras CS-2 in un supercomputer AI di facile utilizzo con una capacità di addestramento di 4 exaFLOP, offerto come servizio cloud. CG-1 è progettato per consentire a G42 e ai suoi clienti cloud di addestrare modelli di grandi dimensioni e innovativi in modo rapido e semplice, accelerando l’innovazione.
La partnership strategica tra Cerebras e G42 ha già portato all’avanzamento di modelli all’avanguardia nell’ambito della chat bilingue araba, dell’assistenza sanitaria e degli studi sul clima. CG-1 offre supporto nativo per l’addestramento con sequenze lunghe, fino a 50.000 token pronti all’uso, senza la necessità di librerie software speciali. Feldman ha affermato che la programmazione di CG-1 avviene completamente senza complessi linguaggi di programmazione distribuita, e anche i modelli più grandi possono essere eseguiti senza dover dedicare settimane o mesi alla distribuzione del lavoro su migliaia di GPU.
La partnership tra G42 e Cerebras fornisce tutti e tre gli elementi necessari per l’addestramento di modelli di grandi dimensioni: potenza di calcolo enorme, vasti set di dati e competenze specializzate nell’IA. Stanno democratizzando l’intelligenza artificiale, consentendo un accesso semplice e facile alla potenza di calcolo AI di punta. Il lavoro di G42 con diversi set di dati negli ambiti sanitario, energetico e climatico consentirà agli utenti del sistema di addestrare nuovi modelli all’avanguardia.
Cerebras e G42 riuniscono un team di ingegneri hardware, ingegneri dei dati, scienziati dell’IA e specialisti del settore per offrire un’offerta completa di intelligenza artificiale per risolvere i problemi dei clienti. Questa combinazione porterà a risultati rivoluzionari e accelererà centinaia di progetti di intelligenza artificiale a livello globale.
G42 è un conglomerato con sede ad Abu Dhabi, con 22.000 dipendenti in nove società presenti in 25 paesi.
“Ora, se vuoi eseguire lo stesso modello con 40 miliardi di parametri su 1.000 GPU, devi scrivere altre 27.215 righe di codice. Ovviamente, non è facile”, ha detto Feldman. “Con Cerebras, un modello con 1 miliardo di parametri richiede circa 1.200 righe di codice per essere eseguito su un CS-1. Ma se vuoi eseguire un modello con 40 miliardi di parametri o 100 miliardi di parametri, utilizzi sempre le stesse 1.200 righe di codice. Ecco tutto. Quindi non devi scrivere 27.215 righe di codice.
“Questo porta il nostro cloud a un nuovo livello in cui è operativo e funzionante. Stiamo rendendo disponibili i nostri servizi tramite il nostro cloud. Offriamo un servizio per i supercomputer AI. Se desideri cluster AI tradizionali, li abbiamo anche. Questo porta davvero il nostro cloud a un nuovo livello”.
La macchina prende il nome dalla Galassia Condor, che è circa cinque volte più grande della nostra Via Lattea.