La piattaforma di sviluppo AI open source Lightning AI, in collaborazione con Nvidia, ha annunciato oggi il lancio di Thunder, un compilatore source-to-source progettato per il framework open source di machine learning (ML) PyTorch. Questa nuova offerta mira a velocizzare l’addestramento dei modelli IA sfruttando più GPU per migliorare l’efficienza.
Secondo Lightning AI, il compilatore Thunder può accelerare fino al 40% l’addestramento di modelli linguistici di grandi dimensioni (LLM) rispetto al codice non ottimizzato in scenari reali. Inoltre, Thunder è open source con licenza Apache 2.0 e disponibile gratuitamente.
Lightning AI ha presentato Thunder al Nvidia GTC come soluzione per massimizzare l’utilizzo delle GPU anziché aumentare il loro numero. Inoltre, da quando, nel 2022, ha deciso di sviluppare una nuova generazione di deep learning compatibile con PyTorch e con altri prodotti Nvidia, come torch.compile, nvFuser, Apex, CUDA Deep Neural Network Library (cuDNN) e Triton di OpenAI.
Prima conosciuta come Grid AI, Lightning AI si impegna ad accelerare i carichi di lavoro attraverso le sue ottimizzazioni, cercando di collaborare con altre comunità open source come Open AI, Meta AI e Nvidia.
Guidata da Thomas Viehmann, noto per il suo lavoro su TorchScript e per aver reso PyTorch operativo su dispositivi mobili, Lightning AI ha l’obiettivo di servire modelli di intelligenza artificiale generativa su più GPU. Il CEO e fondatore di Lightning AI, William Falcon, ha espresso entusiasmo per la collaborazione con Viehmann, evidenziando il suo ruolo chiave nelle future innovazioni prestazionali della società.
Il processo di addestramento del modello può essere complesso e costoso, ma Lightning AI ritiene che strumenti come Thunder possano ottimizzare le prestazioni e ridurre i costi associati. Luca Antiga, Chief Technology Officer di Lightning, ha sottolineato l’importanza degli strumenti di ottimizzazione delle prestazioni e di profilazione per scalare l’addestramento dei modelli, consentendo ai clienti di utilizzare le GPU in modo più efficiente e addestrare modelli su scala più ampia e rapida.
Thunder è ora disponibile dopo il rilascio di Lightning 2.2 a febbraio e fa parte della gamma di prodotti offerti da Lightning Studios, che includono opzioni gratuite per sviluppatori individuali e livelli a pagamento per professionisti, team e aziende.