Nvidia e Amazon Web Services (AWS) stanno rafforzando ulteriormente la loro partnership strategica, annunciando una serie di importanti novità durante la conferenza AWS re:Invent.
Nel corso dell’evento, Nvidia ha svelato una nuova offerta chiamata DGX Cloud, che introdurrà per la prima volta il superchip Grace Hopper GH200 su AWS. Inoltre, il progetto Ceiba, in collaborazione con Nvidia, darà vita a quella che potrebbe diventare la più grande piattaforma di supercalcolo cloud pubblico al mondo, con una potenza AI di 64 exaflop, alimentata da Nvidia su AWS. AWS sta anche aggiungendo quattro nuovi tipi di istanze cloud basate su GPU al servizio EC2.
Per aiutare le organizzazioni a migliorare i modelli Large Language Model (LLM), Nvidia presenta la sua tecnologia NeMo Retriever, un approccio RAG (Retrieval Augmented Generation) per collegare i dati aziendali all’intelligenza artificiale generativa.
La collaborazione tra Nvidia e AWS dura da oltre 13 anni, con la GPU Nvidia che è stata introdotta per la prima volta nelle istanze di cloud computing di AWS nel 2010. Questa partnership ha portato a miglioramenti significativi nell’innovazione e nel funzionamento di AWS e ha beneficiato clienti comuni come Anthropic, Cohere e Stability AI.
Ian Buck, vicepresidente di Hyperscale e HPC presso Nvidia, ha sottolineato che questa collaborazione non riguarda solo l’hardware ma anche il software, con molte integrazioni software sviluppate in collaborazione tra le due aziende.
Il DGX Cloud, sebbene non sia una novità assoluta, rappresenta un passo avanti significativo. Sarà basato sul superchip Grace Hopper GH200 di Nvidia, noto per combinare il calcolo ARM con le GPU. Questa versione di DGX Cloud su AWS eseguirà i nuovi chip GH200 in un’architettura rack chiamata GH200 NVL-32. Questo sistema è in grado di offrire prestazioni AI fino a 128 petaflop e dispone di 20 terabyte di memoria veloce sull’intero rack.
Nvidia e AWS hanno anche annunciato il Project Ceiba, che mira a creare il supercomputer AI cloud più grande al mondo. Sarà alimentato da 16.000 superchip Grace Hopper e supporterà tecnologie di scalabilità avanzate, fornendo una potenza AI di 64 exaflop e fino a 9,5 petabyte di memoria.
Inoltre, Nvidia sta introducendo la tecnologia NeMo Retriever, progettata per migliorare i chatbot aziendali. Questa tecnologia consente ai Large Language Model (LLM) di connettersi ai dati aziendali, migliorando l’efficacia delle applicazioni di intelligenza artificiale generativa.
La tecnologia NeMo Retriever offre modelli di livello aziendale e microservizi di recupero pre-costruiti, accelerando la ricerca vettoriale per ottimizzare le prestazioni dei database vettoriali dei dati aziendali. Clienti come Dropbox, SAP e ServiceNow stanno già sfruttando questa tecnologia per migliorare la precisione e la latenza delle applicazioni di intelligenza artificiale generativa.
Questi annunci rappresentano un ulteriore passo avanti nella collaborazione tra Nvidia e AWS e promettono di portare avanzamenti significativi nell’ambito dell’intelligenza artificiale e del supercalcolo cloud pubblico.