Alibaba ha rilasciato Qwen3.8-Flash-Next, un nuovo modello multimodale Mixture-of-Experts con pesi aperti che introduce in anteprima alcune delle principali scelte architetturali destinate alla futura famiglia Qwen4. Il modello svolge quindi per Qwen4 un ruolo simile a quello avuto in precedenza da Qwen3-Next per Qwen3.5, quando l’architettura ibrida basata su Gated DeltaNet e Gated Attention era stata resa disponibile anticipatamente prima di essere successivamente adottata nelle serie Qwen3.5, Qwen3.6, Qwen3.7 e Qwen3.8. Con Qwen3.8-Flash-Next il team interviene in particolare su quattro componenti: attenzione, flusso residuo, embedding e ottimizzazione, con l’obiettivo di aumentare capacità e stabilità riducendo contemporaneamente il costo computazionale.
Il modello principale contiene 125 miliardi di parametri, ai quali si aggiungono 51 miliardi di parametri dedicati agli N-gram Embedding, mentre per ogni token vengono attivati soltanto 6 miliardi di parametri. La struttura è quindi fortemente sparsa e punta a separare la capacità complessiva del modello dal costo effettivamente sostenuto durante l’elaborazione. La documentazione tecnica indica inoltre 48 layer, 512 expert MoE, dei quali 10 instradati e uno condiviso vengono attivati, e una dimensione nascosta pari a 2.560. Rispetto a Qwen3.7-Plus, Qwen3.8-Flash-Next richiede circa un nono delle risorse necessarie per l’addestramento, pur ottenendo secondo il Qwen Team prestazioni superiori nelle attività di coding e produttività da ufficio.
Una delle modifiche principali riguarda il sistema di attenzione, che combina Gated DeltaNet, o GDN, con il nuovo Qwen Sparse Attention, QSA. Tre layer su quattro utilizzano Gated DeltaNet per comprimere progressivamente la cronologia della sequenza all’interno di uno stato di dimensione fissa, mentre il quarto utilizza un meccanismo di attenzione globale per recuperare informazioni specifiche distribuite nel contesto. QSA interviene proprio su questa parte evitando di applicare l’attenzione completa a tutti i token precedenti: utilizza invece un indicizzatore leggero e compresso che individua le porzioni di contesto più rilevanti a livello di micro-blocchi. L’approccio riduce sia il costo dell’attenzione sia quello dell’indicizzazione nelle sequenze molto lunghe, dove un selettore tradizionale operante token per token può diventare a sua volta una componente computazionalmente onerosa.
Qwen3.8-Flash-Next introduce anche Gated Residual, una nuova gestione del flusso residuo nella quale lo stato viene ampliato su quattro rami paralleli. La lettura delle informazioni viene regolata attraverso gate element-wise dipendenti dai dati, mentre la scrittura utilizza gate specifici per ciascun ramo. L’obiettivo è migliorare la trasmissione delle informazioni tra layer differenti e rendere più stabile l’addestramento delle reti profonde senza introdurre un costo aritmetico significativo. Lo stato residuo può inoltre essere mantenuto in FP8, riducendo ulteriormente il traffico di memoria.
Un’altra componente nuova è costituita dagli N-gram Embedding, che aggiungono al modello 51 miliardi di parametri senza inserirli direttamente nel normale percorso di moltiplicazione matriciale eseguito per ogni token. Il sistema usa il contesto locale per determinare in modo prevedibile quali posizioni della tabella di embedding devono essere consultate, creando una sorta di memoria aggiuntiva specializzata nei pattern locali. Poiché gli indirizzi possono essere calcolati in anticipo, la tabella può essere mantenuta nella memoria host anziché occupare permanentemente la memoria GPU e i dati necessari possono essere caricati tramite prefetch asincrono mentre il resto del modello continua a elaborare. Qwen utilizza un singolo layer di N-gram Embedding nelle prime fasi della rete, sfruttando bigrammi e trigrammi per aumentare la capacità del modello con un incremento limitato del costo per token.
Anche la procedura di ottimizzazione è stata modificata. Il modello viene addestrato principalmente con Muon, utilizzato per i parametri che operano effettivamente come trasformazioni lineari bidimensionali, comprese le matrici principali dei moduli Attention, Gated DeltaNet e degli expert MoE. Il team ha rivisto la precisione dell’ortogonalizzazione, la suddivisione dei parametri tra Muon e AdamW e la separazione delle matrici precedentemente fuse, adattando inoltre le scaling law alla nuova architettura. L’obiettivo è mantenere stabile l’addestramento quando si aumenta contemporaneamente il numero complessivo di parametri e il livello di sparsità del modello.
Qwen3.8-Flash-Next supporta nativamente un contesto di 262.144 token, estendibile fino a un milione di token mediante YaRN. Nei benchmark del modello base, nonostante i soli 6 miliardi di parametri attivati per token, Qwen3.8-Flash-Next ottiene il risultato migliore in 8 dei 14 test riportati nel confronto con Qwen3.8-27B-Base e Qwen3.7-Plus-Base. Tra questi figurano MMLU-Pro con 73,23, SuperGPQA con 51,36, BBH con 90,87, GSM8K con 93,29, EvalPlus con 78,76, SWEBench-Pretrain con 50,99, MGSM con 89,33 e MMMLU con 84,86. Negli altri test mantiene risultati vicini al modello Qwen3.7-Plus, che dispone invece di 397 miliardi di parametri complessivi e 17 miliardi attivati.
I pesi di Qwen3.8-Flash-Next sono già disponibili su Hugging Face e ModelScope. La versione destinata all’utilizzo in produzione viene distribuita attraverso QwenCloud con il nome Qwen3.8-Flash e include per impostazione predefinita una finestra di contesto da un milione di token e strumenti integrati ufficiali. Il prezzo indicato è di 0,16 dollari per milione di token in input e 0,47 dollari per milione di token in output, mentre l’API è prevista successivamente. Il rilascio di Qwen3.8-Flash-Next consente quindi di esaminare separatamente la nuova architettura prima che venga utilizzata come base per la futura famiglia Qwen4.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)