Il laboratorio cinese MiniMax, con sede a Shanghai e sostenuto da Tencent, Alibaba e miHoYo, ha anticipato all’interno del report tecnico dedicato alla serie M2 le caratteristiche architetturali del modello di prossima generazione M3, il cui elemento distintivo sarà un meccanismo di attenzione sparsa proprietario denominato MiniMax Sparse Attention, abbreviato in MSA. Le prime profilazioni hardware condivise dal team di ingegneria, guidato in questa anticipazione dal responsabile Skyler Miao, indicano un’accelerazione di 9,7 volte nella latenza di prefilling e di 15,6 volte nella fase di decodifica quando il modello lavora su sequenze di un milione di token, prestazioni misurate nel confronto con l’attuale generazione M2 e calcolate proprio nello scenario di contesto ultra-lungo che rappresenta oggi il principale collo di bottiglia computazionale dei grandi modelli linguistici.
Per comprendere la portata dell’annuncio occorre partire dal problema che MSA intende risolvere, ovvero lo scaling quadratico dell’attenzione piena. Nel meccanismo di self-attention classico ogni token della sequenza deve mettersi in relazione con ogni altro token, una struttura che garantisce ricchezza di contesto e accuratezza ma che fa esplodere la richiesta di potenza di calcolo e di memoria con il quadrato della lunghezza dell’input. Quando il contesto cresce fino al milione di token, questa relazione di tutti-con-tutti diventa proibitiva sotto il profilo della latenza e dei costi di inferenza, e costituisce la ragione per cui molti clienti enterprise rinunciano oggi a sfruttare finestre di contesto molto ampie nonostante la loro disponibilità nominale. L’attenzione sparsa affronta il problema saltando le coppie di token che non contribuiscono in modo significativo alla generazione del token successivo, riducendo il carico computazionale sui contesti lunghi in misura crescente all’aumentare della lunghezza della sequenza.
La specificità tecnica di MSA risiede nel modo in cui realizza questa selezione. Il meccanismo poggia su un backbone Grouped Query Attention, lo stesso schema in cui un numero ridotto di teste key-value viene condiviso fra più teste di query per contenere l’occupazione di memoria, e applica una selezione dinamica a livello di blocco operando sui Key-Value reali e non compressi. La differenza rispetto all’approccio Multi-head Latent Attention adottato da DeepSeek è sostanziale, perché quest’ultimo comprime chiavi e valori in uno spazio latente a bassa dimensionalità, mentre MSA conserva i Key-Value nella loro forma originale e si limita a filtrare quali blocchi di token passato meritano di essere effettivamente elaborati per una determinata query. Il funzionamento si articola in due fasi che operano in sequenza: una branch di indicizzazione leggera scorre i token in ingresso e individua i blocchi di token pregressi rilevanti, dopodiché l’attenzione sparsa vera e propria viene calcolata soltanto su quei blocchi selezionati di Key-Value. La scelta di lavorare sui valori reali anziché su una loro proiezione compressa risponde direttamente ai due ostacoli che il report sulla serie M2 aveva identificato come critici, ovvero la perdita di precisione e le difficoltà nel prefix-caching, il meccanismo che consente di riutilizzare le elaborazioni già svolte sui prefissi comuni di più richieste.
L’aspetto che rende questa anticipazione particolarmente significativa è il percorso che l’ha preceduta. La serie M2, articolata nelle versioni M2, M2.1, M2.5 e M2.7, era costruita su attenzione piena multi-testa applicata a tutti i 62 layer del modello, una scelta che rappresentava un ritorno deliberato all’attenzione completa dopo le sperimentazioni con la Lightning Attention di tipo lineare adottata nel precedente MiniMax-01. Il team aveva motivato questa decisione documentando come le varianti di attenzione lineare e a finestra, pur mostrando nei test su scala ridotta prestazioni allineate ai modelli ad attenzione piena sui benchmark standard, nascondessero deficit profondi nelle capacità di ragionamento quando la scala cresceva, e aveva inoltre rilevato problemi di convergenza numerica e di precisione emersi durante l’addestramento per rinforzo, oltre a una maturità dell’infrastruttura per l’attenzione sparsa e lineare nettamente inferiore a quella consolidata per l’attenzione piena. Il ritorno all’attenzione sparsa con M3 segna quindi una correzione di rotta meditata, fondata sulla convinzione che l’efficienza sul contesto lungo possa ora essere trattata come requisito di progettazione primario e non più come ottimizzazione successiva al lancio.
Sul piano architetturale complessivo, la serie M2 da cui M3 eredita l’impostazione è un modello sparso di tipo Mixture-of-Experts con 229,9 miliardi di parametri totali e circa 9,8 miliardi di parametri attivati per token, un Transformer decoder-only a 62 layer con dimensione nascosta di 3.072 e vocabolario di 200.064 elementi, preaddestrato su 29,2 trilioni di token con lunghezza massima di contesto di 192K. L’attenzione della serie M2 impiega 48 teste di query e 8 teste key-value secondo lo schema GQA, con Rotary Position Embeddings applicate lungo tutto il modello, e il routing degli esperti è gestito tramite gating sigmoide accoppiato a termini di bias specifici per esperto e apprendibili, una configurazione che riduce la dipendenza dalle funzioni di perdita ausiliarie tipicamente necessarie per bilanciare il carico fra gli esperti. Sul piano del comportamento agentico, la serie M2 ha introdotto un protocollo di ragionamento interlacciato in cui il modello alterna all’interno di una singola traiettoria le tracce di pianificazione in linguaggio naturale e le invocazioni esplicite degli strumenti, mantenendo nel contesto conversazionale l’intera cronologia del ragionamento invece di scartare i blocchi intermedi di catena di pensiero fra un turno di esecuzione e il successivo.
Restano da chiarire alcuni elementi sostanziali prima che il quadro su M3 si completi. Le cifre diffuse riguardano esclusivamente la velocità e non sono accompagnate da metriche di accuratezza, perché i risultati sui benchmark di riferimento per le capacità di coding, di chiamata delle funzioni e di navigazione documentale verranno resi noti soltanto al momento del rilascio, condizione che impone prudenza nel valutare l’eventuale compromesso fra guadagno di efficienza e qualità delle risposte. La finestra temporale dichiarata è la seconda metà del 2026 senza una data ufficiale, con i mercati predittivi indipendenti che stimano una probabilità di rilascio del 65% entro luglio, dell’80% entro settembre e dell’87% entro dicembre 2026. Una questione di particolare rilievo per l’ecosistema riguarda infine la licenza con cui verrà distribuito il modello, perché qualora MiniMax confermasse la pratica seguita con M2.7 i pesi sarebbero scaricabili ma l’uso commerciale richiederebbe un’autorizzazione scritta, e l’eventuale apertura del codice del meccanismo MSA insieme ai pesi determinerebbe la possibilità per l’intero settore dell’inferenza distribuita di adottare lo stesso approccio di efficienza, mentre il mantenimento di MSA come tecnologia proprietaria concentrerebbe il vantaggio competitivo nel laboratorio di Shanghai. Il segnale di fondo che emerge da questa anticipazione è che il campo dei grandi modelli linguistici sta convergendo nel 2026 verso l’attenzione sparsa come soluzione matura per la produzione, una direzione che eserciterà pressione sui principali concorrenti affinché accelerino i rispettivi percorsi verso meccanismi di attenzione più efficienti sui contesti lunghi.