VMware ha recentemente annunciato una significativa espansione della loro partnership strategica con NVIDIA, finalizzata a guidare la transizione di centinaia di migliaia di aziende che sfruttano l’infrastruttura cloud di VMware nell’ambito dell’intelligenza artificiale generativa.
Grazie alla collaborazione tra VMware Private AI Foundation e NVIDIA, le aziende saranno in grado di personalizzare modelli e implementare applicazioni basate sull’intelligenza artificiale generativa, come chatbot intelligenti, assistenti virtuali, strumenti di ricerca avanzata e funzionalità di riepilogo. Questa piattaforma integrata sfrutterà il software di intelligenza artificiale generativa e le capacità di elaborazione accelerate fornite da NVIDIA, basandosi sulla solida base di VMware Cloud Foundation e verrà ottimizzata per l’utilizzo dell’intelligenza artificiale.
Raghu Raghuram, CEO di VMware, ha commentato: “L’intelligenza artificiale generativa e l’approccio multi-cloud si combinano in modo eccezionale. I dati aziendali sono distribuiti ovunque: all’interno dei data center, nell’edge computing e nel cloud. In partnership con NVIDIA, consentiremo alle aziende di eseguire in modo sicuro i loro carichi di lavoro di intelligenza artificiale generativa in prossimità dei loro dati, affrontando contemporaneamente le sfide legate alla privacy, alla sicurezza e al controllo dei dati aziendali”.
Jensen Huang, fondatore e CEO di NVIDIA, ha aggiunto: “Le aziende di tutto il mondo stanno cercando di integrare l’intelligenza artificiale generativa nelle loro operazioni. Questa espansione della nostra collaborazione con VMware offrirà a un vasto numero di clienti, operanti in settori come finanza, sanità, produzione e altri ancora, le risorse software e di elaborazione necessarie per sfruttare appieno il potenziale dell’intelligenza artificiale generativa attraverso applicazioni personalizzate costruite su misura utilizzando i loro stessi dati”.
Con l’obiettivo di ottenere vantaggi aziendali in tempi più rapidi, le aziende sono alla ricerca di soluzioni che semplifichino lo sviluppo, il testing e l’implementazione di applicazioni basate sull’intelligenza artificiale generativa. Secondo le stime di McKinsey, l’intelligenza artificiale generativa potrebbe contribuire fino a 4,4 trilioni di dollari all’anno all’economia globale.
La piattaforma VMware Private AI Foundation in collaborazione con NVIDIA consentirà alle aziende di sfruttare appieno questa potenzialità, personalizzando modelli linguistici di grande scala, creando modelli più sicuri e riservati per uso interno, offrendo servizi di intelligenza artificiale generativa ai propri utenti e supportando l’esecuzione sicura di carichi di lavoro di inferenza su larga scala.
Si prevede che questa piattaforma includerà strumenti integrati per l’intelligenza artificiale, consentendo alle aziende di eseguire modelli preaddestrati sui loro dati privati in modo efficiente dal punto di vista economico. Basandosi su VMware Cloud Foundation e sul software NVIDIA AI Enterprise, i benefici attesi della piattaforma comprendono:
- Privacy: offrire ai clienti la possibilità di eseguire servizi di intelligenza artificiale ovunque si trovino i dati, garantendo al contempo l’architettura di privacy dei dati e un accesso sicuro.
- Scelta: consentire alle aziende di scegliere dove sviluppare e implementare i propri modelli, da NVIDIA NeMo™ a Llama 2 e oltre, con varie opzioni di configurazione hardware OEM e la possibilità futura di utilizzare cloud pubblici e offerte di servizi.
- Prestazioni: sfruttare l’infrastruttura accelerata di NVIDIA per ottenere prestazioni pari o superiori al bare metal in alcune situazioni, come dimostrato dai recenti benchmark di settore.
- Scalabilità del data center: ottimizzare le capacità di scalabilità delle GPU in ambienti virtualizzati, consentendo di scalare carichi di lavoro di intelligenza artificiale fino a 16 vGPU/GPU all’interno di una singola macchina virtuale e su più nodi per accelerare la fase di sviluppo e implementazione dei modelli di intelligenza artificiale generativa.
- Costi ridotti: massimizzare l’utilizzo delle risorse di elaborazione su GPU, DPU e CPU per ridurre i costi complessivi e creare un ambiente di risorse condivise che possa essere utilizzato in modo efficiente da vari team.
- Storage accelerato: utilizzare l’architettura di storage VMware vSAN Express per fornire storage NVMe ad alte prestazioni, supportando anche lo storage GPUDirect® su RDMA, che consente un trasferimento diretto dei dati dallo storage alle GPU senza coinvolgere la CPU.
- Rete accelerata: sfruttare l’integrazione profonda tra vSphere e la tecnologia NVIDIA NVSwitch™ per eseguire modelli multi-GPU senza restrizioni di prestazioni tra le diverse GPU.
Per garantire un rapido deployment e un rapido time-to-value, la piattaforma includerà immagini VM e un repository di immagini vSphere Deep Learning che offriranno funzionalità di prototipazione rapida, fornendo un’immagine stabile di una soluzione chiavi in mano con framework e librerie preinstallate ottimizzate in termini di prestazioni.
In questa piattaforma troverà spazio anche NVIDIA NeMo, un framework end-to-end nativo per il cloud incluso in NVIDIA AI Enterprise, il sistema operativo per la piattaforma AI di NVIDIA. NeMo consente alle aziende di creare, personalizzare e implementare modelli di intelligenza artificiale generativa praticamente ovunque. Combina un framework di personalizzazione, kit di strumenti per il controllo, strumenti di cura dei dati e modelli preaddestrati per offrire alle aziende un approccio facile, conveniente e veloce all’adozione dell’intelligenza artificiale generativa.
Per quanto riguarda l’implementazione di modelli di intelligenza artificiale generativa in ambienti di produzione, NeMo fa uso di TensorRT for Large Language Models (TRT-LLM), un’infrastruttura che accelera e ottimizza le prestazioni di inferenza per gli ultimi modelli di linguaggio su GPU NVIDIA. Grazie a NeMo, la piattaforma VMware Private AI Foundation con NVIDIA consentirà alle aziende di utilizzare i propri dati per creare e implementare modelli di intelligenza artificiale generativa personalizzati all’interno dell’infrastruttura cloud ibrida di VMware.
In occasione dell’evento VMware Explore 2023, NVIDIA e VMware metteranno in evidenza come gli sviluppatori aziendali possono sfruttare il nuovo NVIDIA AI Workbench per estrarre modelli dalla comunità, come ad esempio Llama 2, disponibili su Hugging Face, e personalizzarli a distanza, consentendo la distribuzione di applicazioni di intelligenza artificiale generativa di livello professionale all’interno dell’ambiente VMware.
Va notato che il supporto a VMware Private AI Foundation con NVIDIA sarà offerto da importanti attori del settore come Dell Technologies, Hewlett Packard Enterprise (HPE) e Lenovo, che saranno tra i primi a offrire sistemi capaci di potenziare la personalizzazione di modelli linguistici aziendali e di gestire carichi di lavoro di inferenza attraverso GPU NVIDIA L40S e DPU NVIDIA BlueField®-3, insieme a NVIDIA ConnectX®-7 SmartNIC.
La GPU NVIDIA L40S offre prestazioni di inferenza nell’ambito dell’intelligenza artificiale fino a 1,2 volte superiori rispetto alla GPU NVIDIA A100 Tensor Core, insieme a una capacità di addestramento superiore fino al 1,7 volte.
Le DPU NVIDIA BlueField-3 accelerano, gestiscono e isolano il pesante carico computazionale di virtualizzazione, networking, storage, sicurezza e altri servizi nativi basati su intelligenza artificiale, separandoli dalla CPU o dalla GPU.
Gli SmartNIC NVIDIA ConnectX-7 offrono una rete intelligente e ad alte prestazioni per l’infrastruttura dei data center, potenziando i carichi di lavoro di intelligenza artificiale più complessi al mondo.
Questa partnership tra VMware e NVIDIA si basa su dieci anni di collaborazione tra le due aziende. Grazie a un lavoro di co-ingegneria approfondito, l’infrastruttura cloud di VMware è stata ottimizzata per eseguire NVIDIA AI Enterprise con prestazioni comparabili al bare metal. I clienti che usufruiscono di entrambe le soluzioni beneficiano di una maggiore flessibilità e di una gestione delle risorse e dell’infrastruttura resa possibile da VMware Cloud Foundation.