Grandi modelli linguistici vengono addestrati su vaste quantità di dati distribuiti tra migliaia di GPU NVIDIA. Con l’obiettivo di migliorare ulteriormente il servizio ai propri clienti, AWS e NVIDIA stanno sfruttando le conoscenze acquisite dalla loro partnership per sviluppare prodotti e servizi come Amazon Titan e NVIDIA NeMo. Questa collaborazione presenta notevoli vantaggi, ma può anche comportare sfide per le aziende interessate a implementare l’intelligenza artificiale generativa.
NVIDIA NeMo è una piattaforma progettata per semplificare la creazione, la modifica e l’operatività dei grandi modelli linguistici, contribuendo così a superare tali sfide. Negli ultimi mesi, un team di scienziati e ingegneri di alto livello presso Amazon Web Services ha impiegato NVIDIA NeMo per sviluppare modelli di base per Amazon Bedrock, un servizio di intelligenza artificiale generativa. Questi modelli costituiranno la base di Amazon Titan.
L’approccio basato sul parallelismo di NeMo rende efficiente la formazione su larga scala dei grandi modelli linguistici. Il team è riuscito ad accelerare ulteriormente il processo di addestramento distribuendo i modelli su numerose GPU, sfruttando l’Elastic Fabric Adapter di Amazon Web Services. Grazie all’architettura di rete UltraCluster di EFA, gli utenti di AWS possono connettere direttamente oltre 10.000 GPU, evitando completamente il sistema operativo e la CPU, grazie a NVIDIA GPUDirect.
Queste collaborazioni hanno reso possibile per gli scienziati di AWS creare modelli di alta qualità, un obiettivo difficile da raggiungere su vasta scala utilizzando solo il parallelismo dei dati. Tra le innovazioni introdotte da AWS, c’è la capacità di trasferire dati in modo efficiente da Amazon S3 al cluster GPU. NeMo, basandosi su librerie ben consolidate come PyTorch Lightning, standardizza i componenti delle pipeline di formazione dei grandi modelli linguistici, contribuendo a semplificare e migliorare ulteriormente il processo.