Lo sviluppatore Zagitta ha pubblicato GPU Unlock, uno strumento open-source per Linux che modifica alcune impostazioni hardware delle schede grafiche NVIDIA GeForce RTX serie 30, basate sull’architettura Ampere, allo scopo di aumentare il throughput di specifiche operazioni eseguite dai Tensor Core. La soluzione interviene sulle limitazioni di throughput associate ad alcuni calcoli in precisione FP16 e BF16 con accumulazione FP32, permettendo di raggiungere prestazioni più vicine a quelle delle GPU destinate ai segmenti professionali. Secondo lo sviluppatore, la modifica può raddoppiare il throughput delle istruzioni interessate, senza che questo implichi necessariamente un raddoppio delle prestazioni complessive dei programmi AI. Il software opera attraverso un modulo del kernel Linux che modifica la configurazione della GPU prima dell’inizializzazione da parte del driver NVIDIA. Non richiede una modifica permanente del firmware della scheda e non comporta la sostituzione diretta dei file del driver, riducendo quindi la dipendenza da patch specifiche da riapplicare dopo ogni aggiornamento.
Nei benchmark di moltiplicazione matriciale pubblicati dallo sviluppatore, una RTX 3090 Ti configurata con un limite di potenza di 450 W ha aumentato il throughput BF16 da 87,5 a 157,4 TFLOPS, registrando un miglioramento di circa l’80%. Nella stessa prova, le prestazioni FP16 sono cresciute di circa il 35%, mentre quelle TF32 hanno mostrato un incremento prossimo al 94%. Sono stati segnalati miglioramenti anche sulle RTX 3080, 3070 e 3060, con differenze legate al modello, alla configurazione energetica e alle caratteristiche dell’elaborazione. Risultati significativi sono stati osservati anche nell’utilizzo di modelli generativi. Un test condotto con ComfyUI su RTX 3090 Ti ha ridotto il tempo di generazione di un’immagine con MOSS-Image SFT in BF16 da circa 72 a 45 secondi, con una diminuzione del tempo di esecuzione del 37% e un incremento del numero di immagini producibili nello stesso intervallo di circa il 59%. Altri test hanno registrato aumenti del throughput del 57% con Qwen-Image 2.1 Turbo e del 56% con Z-Image Turbo. Per la generazione video con MiniMax H3, il tempo di elaborazione è sceso da circa 253 a 158 secondi, corrispondente a un incremento produttivo di circa il 60%.
L’efficacia della modifica dipende fortemente dal tipo di operazione. Utilizzando MOSS-Image SFT in INT8, il miglioramento del throughput è stato soltanto dello 0,3%, poiché l’intervento non accelera in modo significativo i calcoli che non sfruttano le istruzioni interessate. Nei test di inferenza linguistica eseguiti con vLLM su RTX 3090, la fase di elaborazione iniziale del prompt ha mostrato un aumento della velocità di circa il 33%, mentre la generazione progressiva dei token è rimasta sostanzialmente invariata. Quest’ultima fase dipende infatti in misura maggiore dalla banda della memoria rispetto alla capacità di calcolo matriciale dei Tensor Core. GPU Unlock non incrementa la quantità di memoria video disponibile né la relativa larghezza di banda. La compatibilità è attualmente limitata all’ambiente Linux e alcuni modelli di RTX 30 non hanno mostrato incrementi significativi anche dopo l’applicazione della modifica. I risultati indicano quindi un vantaggio soprattutto per applicazioni di generazione di immagini e video che impiegano intensivamente le operazioni in precisione interessate, mentre i benefici risultano più contenuti per carichi di lavoro limitati dalla memoria o basati su altri formati numerici.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).