Nota ha pubblicato su Hugging Face due versioni alleggerite di Kimi K3, il modello di Moonshot AI, riducendo il numero di GPU NVIDIA B300 richieste per la sua esecuzione senza intervenire attraverso una semplice quantizzazione generale. La versione originale necessita di otto GPU B300, mentre i due modelli ottimizzati possono essere eseguiti rispettivamente con sei e quattro unità, corrispondenti a una riduzione delle risorse hardware del 25% e del 50%. L’intervento è stato realizzato con una tecnica proprietaria denominata non-uniform expert pruning, progettata specificamente per i modelli mixture-of-experts e applicata selettivamente ai diversi livelli dell’architettura.
Nei modelli mixture-of-experts, ogni token non viene elaborato da tutti i parametri disponibili, ma viene indirizzato verso un numero limitato di moduli specializzati, chiamati esperti. Il pruning sviluppato da Nota analizza le caratteristiche dei singoli livelli e misura l’importanza dei diversi moduli, preservando gli esperti che contribuiscono maggiormente alle prestazioni e rimuovendo soltanto quelli considerati meno rilevanti. Le due versioni pubblicate eliminano rispettivamente il 25% e il 50% dei moduli esperti, ma la percentuale non viene applicata in modo uniforme all’intera rete. Alcuni livelli vengono ridotti maggiormente, mentre quelli più sensibili conservano una quota superiore dei propri esperti, così da limitare il deterioramento delle capacità del modello.
Questo approccio si differenzia dai sistemi di expert pruning che eliminano la stessa proporzione di moduli in ogni livello. Una riduzione uniforme tratta infatti tutte le parti della rete come se contribuissero nello stesso modo al risultato, mentre nei modelli di grandi dimensioni alcuni livelli e alcuni esperti incidono più di altri su ragionamento, comprensione delle istruzioni e generazione delle risposte. La tecnica di Nota cerca quindi di determinare dove la rimozione produca il minor impatto, distribuendo in modo differente il taglio dei moduli lungo l’architettura. L’obiettivo non è soltanto diminuire il numero complessivo degli esperti, ma ottenere una configurazione più piccola che conservi il più possibile il comportamento del modello originale.
Kimi K3 presenta inoltre caratteristiche che limitano l’efficacia delle normali tecniche di quantizzazione. Il modello è stato progettato già nella fase di addestramento con pesi a 4 bit e valori di attivazione a 8 bit, riducendo in partenza la precisione numerica utilizzata per rappresentare i parametri e le operazioni. La quantizzazione, che normalmente alleggerisce un modello sostituendo rappresentazioni numeriche ad alta precisione con formati più compatti, dispone quindi di uno spazio di intervento ridotto. Per ottenere un’ulteriore diminuzione della memoria e del carico computazionale è stato necessario intervenire sulla struttura stessa del modello, eliminando una parte degli esperti anziché limitarsi a comprimere ulteriormente i valori numerici.
Nota ha confrontato la propria versione con REAP, un metodo che riduce gli esperti applicando la stessa percentuale ai diversi livelli. Secondo le valutazioni interne, il modello alleggerito del 50% con pruning non uniforme ha mantenuto prestazioni superiori nella maggior parte dei benchmark. Nel test GPQA-Diamond, utilizzato per misurare capacità avanzate di ragionamento e conoscenze scientifiche, il vantaggio è stato di 2,52 punti, mentre in IFEval, dedicato alla capacità di seguire correttamente le istruzioni dell’utente, la differenza ha raggiunto 2,22 punti. I risultati indicano che la scelta dei moduli da conservare e la distribuzione differenziata del pruning incidono direttamente sulla quantità di prestazioni che rimane disponibile dopo la riduzione dell’architettura.
La diminuzione da otto a quattro GPU rende possibile eseguire Kimi K3 su infrastrutture più contenute, riducendo memoria richiesta, consumo energetico e costi operativi. Il vantaggio riguarda soprattutto organizzazioni che desiderano utilizzare modelli di grandi dimensioni nei propri ambienti senza disporre di cluster estesi, oppure che devono servire più istanze dello stesso modello con una quantità limitata di acceleratori. La riduzione delle risorse non deriva però da una modifica dell’architettura di base o da un nuovo addestramento completo, ma dalla selezione degli esperti meno importanti e dalla conservazione differenziata delle parti che contribuiscono maggiormente alle capacità del sistema.
Nota aveva già applicato tecniche di ottimizzazione a Solar Open 2 di Upstage, pubblicando una versione alleggerita che ha superato 68.000 download su Hugging Face nelle prime due settimane. Con Kimi K3 l’azienda estende lo stesso lavoro a un modello mixture-of-experts di dimensioni maggiori, concentrandosi sul rapporto tra capacità conservate e quantità di hardware necessaria per l’inferenza. Nota prevede di applicare il non-uniform expert pruning anche ad altri modelli di frontiera, con l’obiettivo di renderli utilizzabili in ambienti caratterizzati da disponibilità limitata di GPU.