Baidu ha annunciato ERNIE-5.5-Flash-Base, un modello linguistico mixture-of-experts con 280 miliardi di parametri complessivi, dei quali circa 14 miliardi vengono attivati per ciascun token elaborato. Il rilascio mette a disposizione i pesi di un checkpoint al termine della fase di pre-addestramento, prima delle successive operazioni di mid-training e post-training, offrendo ai ricercatori una base per sperimentare adattamenti settoriali, instruction tuning e tecniche di reinforcement learning. A differenza di un modello conversazionale già ottimizzato per seguire istruzioni, questa versione conserva le caratteristiche di un modello base destinato a ulteriori percorsi di addestramento. Baidu prevede infatti di pubblicare successivamente una variante ERNIE 5.5 Flash sottoposta a post-training. Il checkpoint attuale è esclusivamente testuale e viene presentato anche come riferimento comune per confrontare metodologie di addestramento differenti.
L’architettura comprende 43 livelli, una dimensione interna di 4.096 e 64 teste di attenzione. Trentassette livelli utilizzano Heavily Compressed Attention, un meccanismo che conserva nella cache una rappresentazione per ciascun blocco di 128 token, affiancata da una finestra di token recenti non compressi. Gli altri sei livelli adottano Multi-head Latent Attention, mantenendo l’accesso alle informazioni a livello di singolo token attraverso un indicizzatore che seleziona le posizioni precedenti più rilevanti. Secondo Baidu, questa organizzazione permette di limitare il costo computazionale fondamentale dell’attenzione per ciascuna interrogazione anche quando aumenta la lunghezza del contesto. Tutti i livelli, escluso il primo, integrano inoltre blocchi mixture-of-experts con 512 esperti selezionabili, dei quali dieci vengono attivati insieme a un esperto condiviso. Gli esperti operano in uno spazio latente a 2.048 dimensioni, riducendo il traffico associato alla distribuzione e alla ricombinazione delle elaborazioni rispetto a un’architettura a larghezza completa. Il modello utilizza anche quattro flussi residui paralleli con connessioni vincolate a una varietà geometrica e una testa di uscita MultiMax con temperatura segmentata apprendibile.
Il pre-addestramento ha utilizzato 33.500 miliardi di token, l’ottimizzatore Muon e precisione mista FP8. Durante questa fase il contesto è stato progressivamente esteso fino a 128.000 token, mentre le configurazioni documentate per fine-tuning e inferenza arrivano a un milione di token. Il corpus comprende dati web multilingue, codice sorgente e informazioni derivate dai processi di sviluppo software, tra cui commit, issue, pull request, revisioni, test generati e correzioni verificate mediante sistemi di integrazione continua. Sono stati inclusi documenti lunghi, sequenze contenenti informazioni semanticamente simili e dati sintetici per il recupero delle informazioni e la risposta a domande. Baidu ha inoltre pubblicato componenti FlashMask per l’ottimizzazione dei kernel di attenzione su GPU NVIDIA Hopper e Blackwell, riportando su hardware SM100 incrementi di velocità fino al 175% nel passaggio forward e al 74% nel backward rispetto a FlashAttention-4 MaskMod. Il sistema Muon distribuito integra la sincronizzazione dei parametri densi e MoE in un’unica operazione collettiva e distribuisce in maniera più uniforme lo stato dell’ottimizzatore.
Nei benchmark comunicati da Baidu, ERNIE 5.5 Flash Base raggiunge 93,3 punti su MMLU in configurazione five-shot e 82,3 su HumanEval+ one-shot Pass@1, superando nei due test i checkpoint DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base utilizzati nel confronto. I risultati non rappresentano tuttavia un vantaggio uniforme: su FullStackBench ERNIE ottiene 54,6 contro 56,7 di Hy3, mentre su InfiniteBench raggiunge 46,5 contro 48,0 di DeepSeek. I pesi sono distribuiti nei formati FP8 e BF16, con supporto documentato per SGLang, vLLM e procedure di fine-tuning tramite NVIDIA Megatron Bridge. Un aspetto rilevante riguarda la licenza ERNIE 5.5 Flash Base Model License Agreement v1.0, che non autorizza l’uso, la modifica o la distribuzione nel territorio dell’Unione europea, del Regno Unito e della Corea del Sud. Negli altri territori ammessi, l’utilizzo non commerciale non comporta canoni di licenza, mentre gli impieghi commerciali con ricavi annui collegati non superiori a 50 milioni di dollari richiedono una comunicazione e l’attribuzione “Powered by ERNIE”. Oltre questa soglia è necessaria un’autorizzazione scritta separata di Baidu. Il rilascio dei pesi non equivale pertanto a una licenza open source universalmente utilizzabile.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)