Unsloth ha pubblicato una versione GGUF a 3 bit di GLM-5.3-Flash che riduce di circa l’81% le dimensioni del modello originale e consente di eseguirlo localmente su una singola workstation dotata di 128 GB di memoria. GLM-5.3-Flash è il modello di Z.ai precedentemente apparso su OpenRouter con il nome “Ox Alpha”, dove aveva mantenuto per sei giorni consecutivi il primo posto per volume di utilizzo prima che Z.ai ne confermasse ufficialmente l’identità e pubblicasse i pesi con licenza MIT. Si tratta del primo modello nativamente multimodale della serie GLM-5, capace di elaborare testo, immagini e video e di supportare un contesto fino a 1 milione di token. L’architettura è di tipo sparse Mixture of Experts e comprende circa 320 miliardi di parametri complessivi, dei quali ne vengono attivati circa 18 miliardi durante una singola inferenza.
Le dimensioni dei pesi originali in precisione FP16 o BF16 raggiungono diverse centinaia di gigabyte, rendendo impossibile caricare l’intero modello nella memoria di un normale PC o anche di molte workstation di fascia alta. Unsloth ha affrontato il problema applicando una quantizzazione dinamica a 3 bit denominata UD-IQ3_XXS, con la quale il modello è stato portato a circa 120 GB. La riduzione permette di mantenere nella stessa macchina sia i pesi sia il margine necessario per il sistema operativo e per il KV cache generato durante le conversazioni, rendendo possibile l’esecuzione completa su configurazioni come un Mac Studio con 128 GB di memoria unificata o una workstation PC con una quantità equivalente di RAM.
La compressione non viene applicata in maniera uniforme a tutti i layer. Le tecniche tradizionali di quantizzazione a basso numero di bit tendono infatti a utilizzare la stessa precisione sull’intera rete, con il rischio di degradare in modo significativo i componenti più sensibili. Unsloth utilizza invece la propria tecnologia Dynamic v3.0 insieme a ottimizzazioni specifiche per l’architettura del modello. La procedura valuta i diversi layer usando oltre 1,5 milioni di token selezionati per la calibrazione e mantiene una precisione superiore nelle parti considerate maggiormente importanti per ragionamento e accuratezza, applicando invece una compressione più aggressiva, anche a 3 bit o meno, nei layer che risultano meno sensibili.
Un secondo livello di ottimizzazione riguarda direttamente l’architettura MoE. Poiché GLM-5.3-Flash utilizza soltanto una parte degli esperti disponibili per ciascun token, la quantizzazione deve preservare correttamente sia il funzionamento del router sia i parametri degli esperti effettivamente selezionati durante l’inferenza. Unsloth ha quindi adottato un algoritmo di compressione specificamente adattato alla struttura sparse MoE, con l’obiettivo di limitare la perdita informativa tra routing e attivazione degli esperti e contemporaneamente migliorare l’efficienza dell’offloading quando parte del modello viene gestita al di fuori della memoria più veloce.
Il processo utilizza anche la divergenza di Kullback-Leibler, o KL divergence, per confrontare continuamente la distribuzione probabilistica degli output del modello quantizzato con quella prodotta dalla versione originale. La metrica permette di misurare quanto il comportamento della versione compressa si discosti da quello del modello BF16 e viene quindi utilizzata come criterio aggiuntivo per decidere quali parti possano essere quantizzate più aggressivamente e quali richiedano una maggiore precisione. Secondo i dati pubblicati da Unsloth, la configurazione finale riduce le dimensioni complessive dell’81% mantenendo circa l’82% delle prestazioni del modello BF16 originale.
La possibilità di eseguire GLM-5.3-Flash su una singola macchina dipende quindi dalla combinazione tra sparsità dell’architettura e quantizzazione selettiva. I 320 miliardi di parametri totali continuano a dover essere memorizzati, anche se soltanto circa 18 miliardi vengono attivati per token, mentre la quantizzazione riduce la quantità di memoria necessaria per conservare i pesi. Il vantaggio della struttura MoE riguarda invece principalmente il costo computazionale dell’inferenza, perché evita di elaborare l’intera rete a ogni passaggio e rende praticabile l’esecuzione di un modello con un numero complessivo di parametri molto superiore rispetto a quelli effettivamente coinvolti in ciascuna operazione.
Il risultato segna anche un cambiamento rispetto alle tecniche necessarie soltanto pochi mesi fa per eseguire localmente modelli GLM di dimensioni comparabili. Per inserirli nella memoria di un singolo computer era necessario ricorrere a quantizzazioni estremamente aggressive, vicine a 1 bit, accettando una perdita consistente delle capacità originali. Con GLM-5.3-Flash, la combinazione tra struttura sparse MoE, quantizzazione dinamica differenziata e formato GGUF consente invece di mantenere una precisione superiore pur rientrando nella memoria disponibile su workstation acquistabili sul mercato.
La disponibilità del formato GGUF amplia inoltre le possibilità di utilizzo locale all’interno dell’ecosistema di inferenza sviluppato attorno a questo standard, senza richiedere necessariamente infrastrutture cloud o configurazioni multi-GPU dedicate. Il requisito di 128 GB resta comunque elevato e colloca l’esecuzione locale di GLM-5.3-Flash nella fascia delle workstation professionali e dei sistemi Apple Silicon con grandi quantità di memoria unificata, più che nei normali PC consumer. La novità tecnica consiste quindi soprattutto nell’aver trasformato un modello da 320 miliardi di parametri, originariamente troppo grande per essere caricato integralmente su una singola macchina, in una versione da circa 120 GB che può essere eseguita localmente mantenendo una parte significativa delle prestazioni del modello originale.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)