ByteDance, la compagnia madre di TikTok, ha recentemente presentato Seed-Thinking-v1.5, un modello di linguaggio avanzato progettato per eccellere nel ragionamento strutturato. Questo sviluppo segna un passo significativo nel panorama dell’intelligenza artificiale, posizionando ByteDance tra i protagonisti della ricerca nell’IA generativa.
Seed-Thinking-v1.5 si basa sull’architettura Mixture-of-Experts (MoE), una struttura che consente al modello di attivare solo una parte dei suoi parametri—20 miliardi su un totale di 200 miliardi—rendendo l’elaborazione più efficiente. Questa scelta architetturale permette al modello di specializzarsi in diversi domini, migliorando le prestazioni senza aumentare significativamente i costi computazionali.
Il modello ha ottenuto risultati notevoli in vari benchmark:
- 86,7% nell’AIME 2024, un test avanzato di ragionamento matematico.
- 77,3% nel GPQA, focalizzato su scienze e tecnologia.
- 55,0% di passaggio su 8 problemi su Codeforces, una piattaforma di programmazione competitiva.
Inoltre, Seed-Thinking-v1.5 ha superato modelli come DeepSeek R1 e si è avvicinato a Gemini 2.5 Pro di Google e o3-mini-high di OpenAI, soprattutto nel benchmark ARC-AGI, che misura i progressi verso l’intelligenza artificiale generale.
Per migliorare la capacità di ragionamento, ByteDance ha sviluppato due framework di apprendimento per rinforzo: VAPO (actor-critic) e DAPO (policy-gradient). Questi sistemi riducono l’instabilità nell’addestramento e migliorano la coerenza nelle risposte. Inoltre, sono stati introdotti due strumenti di verifica: Seed-Verifier, che controlla l’equivalenza matematica delle risposte, e Seed-Thinking-Verifier, che valuta il ragionamento passo dopo passo, aumentando l’affidabilità del modello.
Per supportare l’addestramento su larga scala, ByteDance ha implementato il framework HybridFlow, utilizzando cluster Ray per gestire l’esecuzione e ridurre i tempi di inattività delle GPU. Un’innovazione significativa è il sistema Streaming Rollout System (SRS), che separa l’evoluzione del modello dall’esecuzione in tempo reale, accelerando i cicli di addestramento fino a tre volte. Altre tecniche includono l’uso della precisione mista (FP8) per risparmiare memoria e l’auto-tuning dei kernel per ottimizzare l’efficienza.
Seed-Thinking-v1.5 rappresenta un esempio di come le aziende possano sviluppare modelli di intelligenza artificiale avanzati con un occhio alla sostenibilità e all’efficienza. Il modello è progettato per essere facilmente integrato in ambienti aziendali, grazie alla sua stabilità e alla capacità di adattarsi a compiti specifici. ByteDance ha già annunciato l’intenzione di rilasciare pubblicamente benchmark come BeyondAIME per stimolare ulteriori ricerche nel campo del ragionamento nell’IA.