Il cloud di Google offre ora agli scienziati dell’intelligenza artificiale e a coloro che richiedono un enorme potere di calcolo la possibilità di noleggiare macchine in grado di fornire fino a 26 exaFLOP. Le nuove offerte cloud, presentate in dettaglio nel discorso programmatico tenutosi oggi al Google I/O 2023, si ispirano alle potenti capacità dei “supercomputer” dell’era della Guerra Fredda e sono focalizzate su compiti di grande portata.
Queste nuove macchine combinano le GPU H100 di Nvidia con le interconnessioni ad alta velocità di Google. L’azienda prevede che questa combinazione di GPU veloci collegate tramite percorsi dati veloci sarà estremamente vantaggiosa per attività di intelligenza artificiale come l’addestramento di modelli linguistici di grandi dimensioni.
L’aumento di popolarità di questi modelli di dimensioni molto grandi sta riaccendendo l’interesse per l’hardware in grado di gestire in modo efficiente carichi di lavoro di tale portata. Gli scienziati di intelligenza artificiale hanno ottenuto risultati strabilianti espandendo le dimensioni dei modelli il più possibile. Le nuove macchine di Google renderanno più facile spingere sempre più in alto questi limiti.
Le nuove macchine di Google sono attraenti perché accelerano le comunicazioni tra le GPU, il che a sua volta accelera la convergenza del modello durante l’addestramento. Le GPU Nvidia comunicheranno utilizzando le “IPU su misura da 200 Gbps” di Google, che offrono “trasferimenti di dati da GPU a GPU che bypassano l’host della CPU e scorrono su interfacce separate da altre reti VM e traffico dati”. L’azienda stima che i dati fluiranno tra le GPU 10 volte più velocemente rispetto ad alcuni dei loro hardware precedenti con metodi di comunicazione più tradizionali.
Molti servizi cloud offrono alcune macchine con prestazioni altamente parallele, come le GPU o le TPU. Ad esempio, i servizi web di Amazon offrono mezza dozzina di opzioni diverse che combinano diverse GPU o i loro nuovi chip Graviton basati su ARM. Anche Google offre i propri chip, chiamati TPU, in diverse configurazioni.
Allo stesso tempo, le GPU tradizionali stanno diventando sempre più comuni. Anche alcuni dei cloud più piccoli, come Vultr, offrono macchine con GPU a noleggio, a tariffe che arrivano anche a 13 centesimi l’ora per una frazione di macchina.
Con questo annuncio, Google si sta chiaramente rivolgendo ai carichi di lavoro più intensi. Le sue nuove macchine, chiamate A3, combinano fino a 8 GPU H100 di Nvidia con l’architettura HOPPER del produttore di processori video. Ogni macchina può anche disporre di fino a 2 terabyte di RAM per memorizzare i dati di addestramento. Il tutto sarà sincronizzato da un processore Xeon di quarta generazione.
Google non è l’unica azienda ad aver intrapreso questa strada. A novembre, Microsoft ha annunciato una partnership con Nvidia per sviluppare il proprio “supercomputer”. Anche loro utilizzeranno chip come l’H100 come elementi fondamentali per creare una “tessitura” o una “mesh” interconnessa ottimizzata per l’addestramento di modelli di dimensioni molto grandi.
A febbraio, IBM ha annunciato di stare lavorando a una propria versione chiamata “Vela”, in grado di addestrare modelli di grandi dimensioni per alcuni dei suoi clienti governativi, come la NASA. Questi “modelli di base” saranno utili in diverse aree scientifiche, come la scoperta di farmaci e la sicurezza informatica.
Per Google, un altro obiettivo importante sarà integrare questa nuova infrastruttura hardware con le loro offerte software e cloud. Ad esempio, OpenAI rivende le capacità di calcolo di Azure, permettendo ai propri utenti di ottimizzare i loro modelli di base.
Google afferma che l’hardware sarà accessibile tramite Vertex AI per i clienti che desiderano sviluppare modelli di apprendimento automatico complessi senza doversi preoccupare della manutenzione. Allo stesso tempo, Google sta anche annunciando funzionalità ampliate e modelli di base più avanzati.
Questi progressi nel campo dell’intelligenza artificiale e delle macchine ad alta potenza di calcolo aprono nuove possibilità per la ricerca scientifica, l’innovazione tecnologica e lo sviluppo di modelli di intelligenza artificiale sempre più sofisticati. Con il supporto del cloud di Google, gli scienziati e i ricercatori avranno accesso a risorse di calcolo di livello “supercomputer” per affrontare le sfide più complesse e spingere l’intelligenza artificiale verso nuovi orizzonti.