Dopo l’annuncio di ottobre di Meta (ex Facebook) che sta spingendo per rivendicare il metaverso , la società ha annunciato oggi di aver sviluppato AI Research SuperCluster (RSC), che afferma essere tra i supercomputer AI più veloci in esecuzione oggi. Una volta che sarà completamente costruito, Meta afferma che sarà il supercomputer operativo più veloce: l’azienda punta a completarlo entro la metà di quest’anno.
Il CEO Mark Zuckerberg ha osservato che le esperienze che l’azienda sta costruendo per il metaverso richiedono un’enorme potenza di calcolo, raggiungendo quintilioni di operazioni al secondo. L’RSC consentirà ai nuovi modelli di intelligenza artificiale di imparare da trilioni di esempi, comprendere centinaia di lingue e altro ancora.
La società di archiviazione dati Pure Storage e il produttore di chip Nvidia fanno parte del supercluster creato da Facebook. In particolare, Nvidia è stata un attore chiave a supporto del metaverso, con il suo prodotto omniverso annunciato come ” metaverso per ingegneri “.
Dopo la completa implementazione, RSC di Meta sarà la più grande installazione per i clienti di sistemi Nvidia DGX A100, ha affermato Nvidia nel suo comunicato stampa di oggi.
Rob Lee, CTO di Pure Storage, ha detto a VentureBeat via e-mail che l’RSC è importante per altre società al di fuori di Meta perché le tecnologie (come AI e AR/VR) che alimentano il metaverso sono più ampiamente applicabili e richieste in tutti i settori .
Secondo Lee, i responsabili delle decisioni tecniche cercano sempre di imparare da professionisti all’avanguardia e l’RSC fornisce un’ottima convalida dei componenti principali che stanno alimentando il più grande supercomputer di intelligenza artificiale del mondo.
“Il team di livello mondiale di Meta ha visto il valore di associare le prestazioni, la densità e la semplicità dei prodotti Pure Storage per alimentare le GPU Nvidia create per questo lavoro rivoluzionario che spinge i confini di prestazioni e scalabilità”, ha affermato Lee. Ha aggiunto che le aziende di tutte le dimensioni potranno trarre vantaggio dal lavoro, dalle competenze e dalle conoscenze di Meta per far progredire il modo in cui perseguono i propri dati, analisi e strategie di intelligenza artificiale.
La scala sta diventando un grosso problema
In un blog pubblicato oggi, Meta afferma che il supercalcolo AI è necessario su larga scala. Secondo Meta, la realizzazione dei vantaggi dell’apprendimento auto-supervisionato e dei modelli basati su trasformatori richiede vari domini: visione, parlato, linguaggio o applicazioni critiche come l’identificazione di contenuti dannosi.
L’intelligenza artificiale su scala di Meta richiederà soluzioni informatiche estremamente potenti in grado di analizzare istantaneamente quantità sempre maggiori di dati. L’RSC di Meta è una svolta nel supercalcolo che porterà a nuove tecnologie ed esperienze dei clienti abilitate dall’IA, ha affermato Lee.
“La scala è importante qui in diversi modi”, ha affermato Lee. Ha notato che in primo luogo, Meta elabora un’enorme quantità di informazioni su base continua, e quindi è necessaria una certa scalabilità nelle prestazioni e nella capacità di elaborazione dei dati.
“In secondo luogo, i progetti di intelligenza artificiale dipendono da grandi volumi di dati, con set di dati più vari e completi che forniscono risultati migliori. In terzo luogo, tutta questa infrastruttura deve essere gestita alla fine della giornata, quindi anche l’efficienza dello spazio e dell’energia e la semplicità della gestione su larga scala sono fondamentali. Ognuno di questi elementi è ugualmente importante, sia in un progetto aziendale più tradizionale che operando su scala di Meta”, ha affermato Lee.
Affrontare i problemi di sicurezza e privacy che derivano dal supercalcolo
Negli ultimi anni, Meta ha ricevuto diversi contraccolpi sulle sue politiche sulla privacy e sui dati, con la Federal Trade Commission (FTC) che ha annunciato che stava indagando su sostanziali preoccupazioni sulle pratiche di privacy di Facebook nel 2018. Meta vuole affrontare i problemi di sicurezza e privacy fin dall’inizio -go, affermando che l’azienda protegge i dati in RSC progettando RSC da zero tenendo conto della privacy e della sicurezza.
Meta afferma che ciò consentirà ai suoi ricercatori di addestrare in sicurezza modelli utilizzando dati crittografati generati dagli utenti che non vengono decifrati fino a poco prima dell’allenamento.
“Ad esempio, RSC è isolato dalla rete Internet più ampia, senza connessioni dirette in entrata o in uscita e il traffico può fluire solo dai data center di produzione di Meta. Per soddisfare i nostri requisiti di privacy e sicurezza, l’intero percorso dei dati dai nostri sistemi di storage alle GPU è crittografato end-to-end e dispone degli strumenti e dei processi necessari per verificare che questi requisiti siano sempre soddisfatti”. ha detto il blog aziendale.
Meta spiega che i dati devono passare attraverso un processo di revisione della privacy per confermare che sono stati anonimizzati correttamente prima di essere poi importati nell’RSC. La società afferma inoltre che i dati vengono crittografati anche prima di poter essere utilizzati per addestrare modelli di intelligenza artificiale e le chiavi di decrittazione vengono eliminate regolarmente per garantire che i vecchi dati non siano più accessibili.
Per costruire questo supercomputer, Nvidia ha fornito il livello di elaborazione, inclusi i sistemi Nvidia DGX A100 come nodi di elaborazione. Le GPU comunicano tramite un tessuto Clos Nvidia Quantum 200 Gbps InfiniBand a due livelli. Lee ha notato che i contributi dell’hardware e del software di Penguin Computing sono “il collante” che unisce Penguin, Nvidia e Pure Storage. Insieme, questi tre partner sono stati fondamentali per fornire a Meta un’enorme soluzione di supercalcolo.
