Q Labs ha comunicato i risultati di un esperimento open-source dedicato all’addestramento di modelli linguistici senza ricorrere alla tradizionale propagazione all’indietro del gradiente, o backpropagation. Nell’ambito del progetto Noise, una comunità di sviluppatori ha ridotto in circa dieci giorni il tempo necessario per raggiungere una soglia prestabilita di errore da 1,76 ore a 1,6 secondi, ottenendo un’accelerazione dell’ordine di 4.000 volte rispetto alla configurazione iniziale dell’esperimento. Il risultato riguarda un modello GPT di piccole dimensioni, con 37,7 milioni di parametri, addestrato su un massimo di 10 milioni di token del dataset FineWeb e con l’obiettivo di raggiungere una loss di validazione pari a 4,2. La misura di 1,6 secondi indica esclusivamente il tempo richiesto per raggiungere tale soglia nelle condizioni definite e non rappresenta il tempo necessario per addestrare un modello linguistico commerciale. Non costituisce nemmeno una dimostrazione che il nuovo approccio sia 4.000 volte più veloce della backpropagation convenzionale.
L’esperimento utilizza Dust, un algoritmo sviluppato da Q Labs per stimare la direzione di aggiornamento dei pesi senza calcolare il gradiente attraverso la normale propagazione retrograda degli errori. Nelle strategie evolutive tradizionali vengono applicate perturbazioni casuali direttamente ai pesi del modello, producendo diverse configurazioni da valutare. Dust interviene invece sulle attivazioni interne generate durante l’elaborazione dei token, introducendo variazioni controllate e misurando il loro effetto sulla funzione di perdita. Le perturbazioni che contribuiscono maggiormente a ridurre l’errore assumono un peso superiore nella stima della direzione di aggiornamento. Poiché i token possono ricevere variazioni differenti, il metodo consente di esaminare numerosi candidati all’interno di un’esecuzione forward, evitando di dover costruire e valutare separatamente altrettante configurazioni complete dei parametri. Il procedimento non utilizza la backpropagation, ma impiega comunque una stima delle informazioni necessarie a orientare l’ottimizzazione.
Oltre alla velocità di raggiungimento della soglia, Noise ha misurato la migliore loss finale ottenibile senza un limite temporale rigido. Il valore minimo è sceso da 4,167 a 3,676, superando numericamente il riferimento di 3,769 ottenuto con backpropagation e ottimizzatore Adam in una delle configurazioni considerate. Il confronto richiede tuttavia una distinzione importante: applicando condizioni di ottimizzazione equivalenti, la backpropagation mantiene prestazioni superiori. Inoltre, il tempo record di 1,6 secondi e la loss minima di 3,676 provengono da valutazioni differenti e non descrivono un’unica esecuzione. I miglioramenti sono stati ottenuti intervenendo sia sulla stima delle direzioni di aggiornamento sia sull’organizzazione delle operazioni GPU, inclusa la distribuzione dei calcoli e la riduzione dei costi di comunicazione. Q Labs ha riconosciuto che molte ottimizzazioni erano specifiche per il modello e il dataset utilizzati. Dal 22 ottobre il progetto ha introdotto una configurazione più impegnativa, con 30 milioni di token, otto GPU NVIDIA H100 su un singolo nodo e una soglia di loss ridotta a 3,5. È stata aggiunta anche una categoria nella quale i partecipanti possono modificare l’architettura del modello, con l’obiettivo di verificare se i progressi ottenuti siano riproducibili in condizioni meno vincolate.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).