Hugging Face ha recentemente rilasciato SmolLM3, un modello linguistico compatto da 3 miliardi di parametri che offre capacità di ragionamento su contesti lunghi, supporto multilingue e inferenza in modalità duale. Questo modello open-source si distingue per le sue prestazioni elevate, superando altri modelli della stessa classe, come Llama-3.2-3B e Qwen2.5-3B, e competendo con modelli più grandi da 4 miliardi di parametri, come Gemma3 e Qwen3.
SmolLM3 è stato addestrato su 11,2 trilioni di token, utilizzando un approccio in tre fasi. La fase iniziale ha coinvolto l’addestramento su un mix di dati web, codice e matematica. Successivamente, una fase intermedia ha esteso la lunghezza del contesto del modello e ha introdotto capacità di ragionamento generali. Infine, una fase di fine-tuning supervisionato e allineamento delle preferenze è stata effettuata utilizzando la tecnica Anchored Preference Optimisation (APO).
SmolLM3 supporta sei lingue: inglese, francese, spagnolo, tedesco, italiano e portoghese. Il modello è in grado di elaborare contesti fino a 128.000 token, grazie all’implementazione delle tecniche NoPE e YaRN. Inoltre, è disponibile sia un modello base che un modello fine-tuned per istruzioni, entrambi con modalità di ragionamento duale. Gli utenti possono alternare tra diverse modalità per controllare se il modello genera risposte con o senza tracce di ragionamento.
SmolLM3 ha ottenuto risultati notevoli su 12 benchmark, classificandosi in alto in compiti di conoscenza e ragionamento, e dimostrando solide prestazioni in ambito multilingue e nella generazione di codice. Le modalità di istruzione e ragionamento hanno portato a ulteriori miglioramenti in compiti come LiveCodeBench e AIME 2025.
Il modello è disponibile sotto la licenza Apache 2.0 e può essere utilizzato liberamente dalla comunità. Hugging Face ha reso pubblica la ricetta completa di addestramento, inclusi i mix di dati, le ablationi, la generazione di dati sintetici e i passaggi di allineamento del modello, per favorire la replicabilità e l’ulteriore sviluppo da parte della comunità di ricerca.