ServiceNow ha recentemente annunciato il rilascio di Fast-LLM, una libreria open source progettata per accelerare l’addestramento dei modelli linguistici di grandi dimensioni (LLM) fino al 20%. Questa innovazione mira a ridurre significativamente i costi e i tempi associati all’addestramento di modelli AI su larga scala, offrendo alle aziende uno strumento efficiente per sviluppare e implementare soluzioni basate sull’intelligenza artificiale.
Fast-LLM è stato sviluppato internamente da ServiceNow per ottimizzare i propri processi di addestramento dei modelli AI. È stato utilizzato per l’addestramento di StarCoder 2, un modello linguistico open source rilasciato in precedenza dall’azienda. La libreria è progettata per integrarsi facilmente nelle pipeline di addestramento esistenti, fungendo da sostituto diretto con modifiche minime alla configurazione. Ciò consente alle organizzazioni di adottare Fast-LLM senza la necessità di revisioni significative delle loro infrastrutture attuali.
Una delle principali innovazioni di Fast-LLM risiede nel suo approccio all’ordinamento delle computazioni, definito come “Breadth-First Pipeline Parallelism”. Questo metodo ottimizza la sequenza delle operazioni durante l’addestramento, migliorando l’efficienza sia all’interno di singole GPU che tra più GPU. Inoltre, Fast-LLM affronta efficacemente la gestione della memoria, riducendo la frammentazione che può verificarsi durante operazioni di addestramento su larga scala. Queste ottimizzazioni permettono un utilizzo più efficiente delle risorse hardware, portando a una riduzione complessiva dei tempi e dei costi di addestramento.
Nicolas Chapados, vicepresidente della ricerca presso ServiceNow, ha sottolineato l’impatto significativo di queste ottimizzazioni, affermando che una riduzione del 20% nei tempi di addestramento può tradursi in risparmi sostanziali sia in termini economici che di impronta ecologica. In un contesto in cui le operazioni di addestramento possono costare milioni di dollari, tali miglioramenti rappresentano un vantaggio competitivo notevole.
Essendo un progetto open source, Fast-LLM è accessibile a chiunque desideri migliorare i propri processi di addestramento AI. La comunità è incoraggiata a contribuire al suo sviluppo, promuovendo un ambiente collaborativo che favorisce l’innovazione continua. ServiceNow ha già sperimentato il successo di questo approccio con StarCoder, e prevede che Fast-LLM beneficerà di contributi esterni per espandere le sue funzionalità e migliorare le sue prestazioni