PyTorch ha recentemente rilasciato la versione 2.5, apportando miglioramenti significativi alle prestazioni delle GPU di fascia alta e potenziando i modelli linguistici di grandi dimensioni (LLM). L’aggiornamento include il supporto per le GPU Intel ARC e le iGPU Core Ultra, migliorando la compatibilità per Linux e Windows e rendendo più efficiente l’utilizzo di PyTorch su queste piattaforme.
Uno degli aggiornamenti principali è l’introduzione del backend CuDNN per la scaled dot-product attention (SDPA), che fornisce fino al 75% di accelerazione sulle GPU H100. Inoltre, la versione 2.5 offre la compilazione regionale con torch.compile, riducendo il tempo di avvio a freddo per i moduli ripetuti, come gli strati dei trasformatori negli LLM. Questo rende l’addestramento più efficiente e con un degrado delle prestazioni minimo.
PyTorch 2.5 introduce anche miglioramenti nel backend TorchInductor, con il supporto FP16 e la modalità max-autotune, che offre un notevole incremento delle prestazioni rispetto alla versione precedente. La nuova versione ha superato la modalità Eager nel 97,5% dei modelli testati, dimostrandosi altamente efficiente.
Rispetto alla versione 2.4, che era stata rilasciata a luglio 2024 e si concentrava sul supporto a Python 3.12 e sull’ottimizzazione delle prestazioni delle GPU in generale, PyTorch 2.5 è orientato specificamente al miglioramento dei flussi di lavoro LLM e alla massimizzazione delle prestazioni su GPU di fascia alta.
Tra le altre novità, PyTorch 2.5 espande l’ecosistema introducendo progetti come TorchRec e TorchFix, che migliorano la versatilità dell’ambiente PyTorch per applicazioni di intelligenza artificiale. Inoltre, è stato introdotto il supporto FP16 per il percorso CPU e nuove funzionalità per il backend TorchInductor CPP, che contribuiscono a rendere PyTorch una delle versioni più versatili e ottimizzate per prestazioni elevate.
Con queste innovazioni, PyTorch 2.5 si afferma come una release fondamentale per chi lavora con modelli di intelligenza artificiale su larga scala, offrendo nuove opportunità per migliorare le prestazioni e l’efficienza su hardware avanzato.