Il progresso nell’addestramento dei modelli di intelligenza artificiale (IA) nel 2023 è stato significativo, come dimostrano i risultati recenti del benchmark MLPerf Training 3.1. Questo è un riflesso dell’evoluzione rapida nel campo dell’IA generativa, dove la velocità di addestramento è cruciale e viene tracciata dal MLPerf, un’iniziativa di MLCommons. Quest’ultimo, un consorzio incentrato su benchmarking e best practice, ha visto contributi da 19 entità e oltre 200 risultati prestazionali, segnalando miglioramenti fino al 300%.
I test hanno incluso l’addestramento di grandi modelli linguistici come GPT-3 e il modello open source Stable Diffusion. Il direttore esecutivo di MLCommons, David Kanter, ha rilevato che i miglioramenti prestazionali sono notevoli, specialmente nell’addestramento LLM, che mostra una velocità quasi triplicata in pochi mesi, un ritmo superiore alle previsioni della Legge di Moore.
Intel, Nvidia e Google hanno riportato significativi avanzamenti, con Intel che ha raddoppiato la velocità di addestramento grazie al suo acceleratore Habana Gaudi 2 e all’uso di tecniche innovative come i tipi di dati FP8. Google ha evidenziato le proprie conquiste con i Cloud TPU v5e e la loro scalabilità, mentre Nvidia ha sfruttato il suo supercomputer EOS, ottenendo risultati di addestramento 2,8 volte più rapidi rispetto a giugno, sottolineando l’impressionante potenza di calcolo raggiunta.