Multiverse Computing ha presentato Quantization-Aware Healing (QAH), una tecnica sviluppata per recuperare le capacità perse durante la compressione strutturale e la quantizzazione dei grandi modelli linguistici. Il metodo è stato applicato a GPT-OSS 120B, riducendo il modello a 60 miliardi di parametri e quantizzandone i pesi in formato MXFP4 a 4 bit. Il modello risultante riesce a superare in sette benchmark su nove il checkpoint da 60B in precisione bfloat16 ottenuto precedentemente dopo la compressione, mostrando che una quantizzazione aggressiva non deve necessariamente tradursi in una perdita aggiuntiva di qualità.
Le normali pipeline di compressione prevedono generalmente tre passaggi: la riduzione strutturale del modello attraverso la rimozione di layer, attention head o neuroni, la quantizzazione dei pesi e una successiva fase di training destinata a recuperare parte delle capacità perse. Nel Quantization-Aware Training (QAT) il modello viene ulteriormente addestrato simulando operazioni a bassa precisione durante il forward pass, mentre il Quantization-Aware Distillation utilizza un modello full-precision congelato come teacher e addestra il modello quantizzato a riprodurne la distribuzione di output. Il problema emerge quando quantizzazione e compressione strutturale vengono combinate: un modello da 60B ottenuto riducendo un modello da 120B non dispone infatti di un equivalente 60B originariamente addestrato in piena precisione. Il checkpoint bfloat16 disponibile è già il risultato di una fase di recupero mediante distillazione e utilizzarlo come teacher significa trasferire anche i limiti raggiunti da quel modello.
QAH modifica proprio questo passaggio. Invece di utilizzare come teacher il checkpoint intermedio da 60B in bfloat16, il modello quantizzato da 60B viene distillato direttamente dal modello originale GPT-OSS 120B precedente alla compressione. L’apprendimento avviene facendo corrispondere la distribuzione degli output del teacher e dello student attraverso una funzione di perdita basata sulla divergenza KL applicata ai logits. Il teacher può quindi avere dimensioni e precisione differenti rispetto allo student, perché la supervisione viene trasferita attraverso la distribuzione delle probabilità prodotta dal modello originale. In questo modo la quantizzazione diventa di fatto una seconda fase completa di distillazione contro il teacher più capace disponibile, anziché un semplice intervento di recupero successivo alla riduzione della precisione.
Nei risultati pubblicati da Multiverse Computing, il modello 60B MXFP4 trattato con QAH raggiunge 42,7 punti in AA-LCR, dedicato al ragionamento su contesti lunghi, contro 35,3 del checkpoint 60B bfloat16, con un miglioramento di 7,4 punti. Su AIME 2025 passa da 70,7 a 76,3 punti, guadagnandone 5,6. In Aider, dedicato all’agentic coding, raggiunge 40,9 contro 38,2; su τ²-bench, relativo all’utilizzo di strumenti, 61,7 contro 59,4; su GPQA Diamond 67,4 contro 65,7; su IFBench 59,9 contro 58,4; e su LiveCodeBench 66,5 contro 65,5. Le due eccezioni sono MMLU-Pro, dove il modello QAH ottiene 73,8 contro 74,0, e SciCode, con 34,2 contro 35,6.
Il confronto con il GPT-OSS 120B originale mostra inoltre che il modello quantizzato, pur utilizzando metà dei parametri del teacher, raggiunge 66,5 punti su LiveCodeBench contro 66,0 del modello 120B e rimane a 1,6 punti di distanza su GPQA Diamond. Il divario più evidente resta il ragionamento su contesti lunghi: in AA-LCR il teacher raggiunge 50,0 punti contro 42,7 del modello 60B, un’area che il lavoro identifica come particolarmente difficile da recuperare quando viene ridotta la capacità complessiva del modello.
Un secondo esperimento condotto su GPT-OSS 9B quantizzato in MXFP4 ha confrontato direttamente QAH e QAT mantenendo condizioni equivalenti. Le due tecniche raggiungono risultati massimi molto vicini, rispettivamente 54,9 e 54,6 punti medi su MMLU-Pro, LiveCodeBench e GPQA Diamond, ma presentano dinamiche di training molto differenti. QAH raggiunge il proprio massimo dopo circa 100 step, contro circa 700 step per QAT, risultando quindi circa sette volte più rapido nel raggiungere il picco. Inoltre, fino allo step 1.200 QAH rimane entro circa due punti dal proprio massimo, mentre QAT continua a degradare dopo il picco e perde quasi 19 punti.
La differenza viene collegata alla funzione di perdita utilizzata. Un obiettivo basato sulla cross-entropy continua a spingere il modello verso le etichette anche dopo aver raggiunto una configurazione ottimale, rendendo necessario scegliere attentamente il momento in cui interrompere il training. La distillazione QAH utilizza invece come riferimento una distribuzione prodotta da un teacher congelato: quando lo student converge verso quella distribuzione, il gradiente tende a ridursi naturalmente. Questo rende il processo meno dipendente dall’early stopping e riduce il rischio di ottenere un checkpoint già deteriorato proseguendo troppo a lungo l’addestramento.
Per gestire sequenze con un context length di 32.000 token, QAH utilizza inoltre una precedente tecnica di Multiverse Computing basata sul calcolo segmentato della divergenza KL. La loss viene calcolata su porzioni successive della sequenza invece di costruire contemporaneamente l’intera matrice vocabolario-sequenza. In un benchmark separato questo approccio aveva ridotto il picco di memoria necessario per una distillazione a 32K token da 85,2 GiB a 5,45 GiB, rendendo possibile effettuare il recupero dei contesti lunghi entro un budget GPU molto più contenuto. Il nuovo lavoro segnala inoltre una differenza di qualità riproducibile tra differenti backend utilizzati per il training distribuito.
Dal punto di vista delle risorse hardware, la combinazione tra dimezzamento dei parametri e quantizzazione porta a una riduzione consistente dei requisiti. Il modello QAH a 4 bit utilizza circa quattro volte meno memoria per i pesi rispetto allo student bfloat16, mentre i 60 miliardi di parametri rispetto ai 120 miliardi del teacher riducono approssimativamente della metà il calcolo necessario per token. Nelle famiglie di modelli distribuite originariamente in bfloat16 anziché già quantizzate, la combinazione delle due tecniche può avvicinarsi a una riduzione complessiva di circa otto volte dei requisiti associati ai pesi e all’elaborazione.
Il checkpoint ottenuto con questa pipeline è stato pubblicato come modello open-weight HyperNova-60B, derivato da GPT-OSS 120B e distribuito con licenza Apache 2.0. La variante HyperNova 60B 2605 occupa circa 32 GB di pesi, contro circa 65 GB indicati per GPT-OSS 120B, e Multiverse Computing riporta anche un throughput superiore durante l’esecuzione su una singola NVIDIA H200. I risultati presentati rimangono comunque misurazioni effettuate direttamente da Multiverse Computing sulla propria pipeline e non costituiscono una valutazione indipendente.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)