Thinking Machines Lab ha rilasciato Inkling-Small, un modello multimodale open-weight progettato per offrire prestazioni vicine, e in alcuni test superiori, a quelle del più grande Inkling utilizzando una quantità nettamente inferiore di risorse durante l’inferenza. Inkling-Small è un transformer Mixture-of-Experts con 276 miliardi di parametri complessivi, dei quali 12 miliardi vengono attivati per l’elaborazione di ciascun token. Inkling dispone invece di 975 miliardi di parametri totali e ne attiva 41 miliardi. Il nuovo modello mantiene quindi meno di un terzo dei parametri attivi e circa il 28% delle dimensioni complessive del sistema originario, pur conservandone l’impostazione generale e gran parte delle capacità.
Il modello è stato addestrato sui sistemi NVIDIA GB300 NVL72 e conserva una finestra di contesto massima pari a un milione di token. Può ricevere testo, immagini e audio e produrre risposte testuali, comprese porzioni di codice e risultati strutturati. L’architettura gestisce nativamente le diverse modalità senza ricorrere a encoder visivi o audio separati: i segnali sonori vengono rappresentati come spettrogrammi dMel, mentre le immagini vengono suddivise in porzioni da 40 × 40 pixel ed elaborate attraverso un hMLP gerarchico composto da quattro livelli. Le rappresentazioni così ottenute vengono integrate con i token testuali e processate dal medesimo modello.
Inkling-Small mantiene anche il sistema di reasoning configurabile introdotto con Inkling. Gli sviluppatori possono impostare diversi livelli di sforzo computazionale, da minimal fino a xhigh, modificando il numero di token e la quantità di calcolo che il modello può utilizzare prima di produrre la risposta. Questa funzione permette di privilegiare la rapidità e il contenimento dei costi nelle operazioni semplici oppure di aumentare il tempo di elaborazione per le attività di programmazione, ragionamento e utilizzo degli strumenti. Thinking Machines ha valutato il modello lungo l’intera curva tra prestazioni, TFLOPS impiegati e costo per singolo compito, anziché confrontarlo esclusivamente alla massima capacità di ragionamento.
La maggiore efficienza non deriva soltanto dalla riduzione delle dimensioni. Inkling-Small ha iniziato l’addestramento dopo il modello principale, consentendo al laboratorio di modificare la composizione dei dati di pre-training e alcune parti della procedura di machine learning. Una versione preliminare è stata inoltre sottoposta a distillazione on-policy utilizzando Inkling come modello insegnante. A partire da quel checkpoint, Thinking Machines ha proseguito per altre due settimane l’addestramento tramite reinforcement learning dedicato alla programmazione agentica. Questi interventi hanno consentito al modello più piccolo di superare Inkling in diversi test di ragionamento e sviluppo software, mentre la versione maggiore conserva un vantaggio nella copertura delle conoscenze e nell’accuratezza fattuale.
Su Humanity’s Last Exam nella configurazione esclusivamente testuale, Inkling-Small ha ottenuto il 31,6%, contro il 29,7% di Inkling. Con l’impiego di strumenti ha raggiunto il 47,8%, rispetto al 46% del modello maggiore. In GPQA Diamond, dedicato a domande scientifiche di livello avanzato, il risultato è stato dell’89,5%, contro l’87,2% di Inkling, mentre su ARC-AGI-1 e ARC-AGI-2 il nuovo modello ha registrato rispettivamente l’84% e il 40,1%, superando i risultati del 79,5% e del 36,5% ottenuti dalla versione da 975 miliardi di parametri.
Anche nelle valutazioni di programmazione agentica Inkling-Small ha ottenuto risultati superiori al modello originario. Su SWEBench Verified ha raggiunto l’80,2%, rispetto al 77,6% di Inkling, mentre su SWEBench Pro Public ha registrato il 55,9% contro il 54,3%. In Terminal-Bench 2.1, utilizzando il migliore ambiente di esecuzione disponibile, il risultato è stato del 64,7%, leggermente superiore al 63,8% di Inkling. Su SciCode il modello più piccolo ha ottenuto il 48,7%, rispetto al 46,1% della versione maggiore. I test di coding sono stati eseguiti con traiettorie che potevano raggiungere 256.000 token e con lo sforzo di ragionamento impostato a 0,99.
Il modello ha mostrato miglioramenti anche nell’uso generale degli strumenti. In Toolathlon Verified ha raggiunto il 54,4%, contro il 45,5% di Inkling, e in AA-Briefcase ha ottenuto un punteggio di 917 rispetto a 839. Su MCP Atlas ha registrato il 79,6% nella parte pubblica e il 79,2% sull’intero insieme di test, valori sostanzialmente allineati o leggermente superiori a quelli della versione maggiore. Le prestazioni rimangono invece inferiori in Tau 3 Banking, dove Inkling-Small ha ottenuto il 15,5% e Inkling il 23,7%, mostrando che la riduzione delle dimensioni non produce vantaggi uniformi in tutti i flussi agentici.
Nella capacità di seguire le istruzioni, Inkling-Small ha raggiunto l’82,2% su IFBench, superando il 79,8% di Inkling. Il risultato su Global-MMLU-Lite è stato invece dell’86,7%, inferiore all’88,7% del modello più grande. La differenza diventa più evidente nelle prove di conoscenza fattuale: su SimpleQA Verified il nuovo modello ha ottenuto il 20,6%, mentre Inkling ha raggiunto il 43,9%. Thinking Machines attribuisce questo divario alla maggiore copertura delle conoscenze garantita dal numero complessivo di parametri e dall’addestramento più esteso del sistema principale.
Inkling-Small mantiene capacità multimodali vicine a quelle di Inkling. Su MMMU Pro Standard 10, relativo alla comprensione e al ragionamento su immagini, ha ottenuto il 74%, rispetto al 73,5% del modello maggiore. Nel benchmark CharXiv dedicato a grafici e documenti scientifici ha raggiunto il 77,4% senza strumenti e l’81,3% quando ha potuto usare Python per analizzare le immagini, rispetto al 78,1% e all’82% di Inkling. Il modello può utilizzare il codice per ritagliare, ingrandire e ispezionare programmaticamente porzioni di documenti, diagrammi e grafici nei quali le informazioni rilevanti risultano troppo piccole o difficili da interpretare direttamente.
Le prestazioni audio rimangono anch’esse vicine a quelle del modello principale. Inkling-Small ha ottenuto il 54,9% su Audio MC, il 77% su MMAU e il 90,1% su VoiceBench. Inkling ha raggiunto rispettivamente il 56,6%, il 77,2% e il 91,4%. Il modello è quindi destinato anche ad applicazioni che richiedono la comprensione di conversazioni, registrazioni e contenuti sonori prolungati, senza limitarsi alla semplice trascrizione del parlato.
Thinking Machines ha addestrato Inkling-Small anche per esprimere meglio l’incertezza delle proprie risposte. Il modello è stato sottoposto a reinforcement learning basato su regole di scoring applicate a un ampio insieme di domande previsionali reali. Su ForecastBench senza ricerca ha raggiunto un indice Brier di 61,3, rispetto a 60,1 di Inkling, mentre con la ricerca è arrivato a 61,5 contro 61. Su Prophet Arena ha ottenuto un Brier Score di 0,1238, leggermente migliore rispetto allo 0,1276 del modello maggiore, considerando che in questa valutazione i valori più bassi indicano una previsione più accurata. I test previsionali sono stati eseguiti tra il 19 e il 28 luglio 2026.
Sul fronte della sicurezza, Inkling-Small utilizza la stessa procedura di post-training applicata a Inkling ed è stato sottoposto a valutazioni interne e a red teaming da parte di partner esterni. Nel benchmark StrongREJECT ha ottenuto il 98,4%, praticamente in linea con il 98,6% del modello maggiore. Su FORTRESS adversarial, che misura il rifiuto delle richieste pericolose, ha raggiunto il 71,6%, rispetto al 78% di Inkling. Su FORTRESS benign, che verifica la capacità di rispondere alle richieste innocue senza produrre rifiuti eccessivi, Inkling-Small ha ottenuto il 96,9%, superando il 95,9% del modello principale.
Il vantaggio economico è legato al numero ridotto di parametri attivi e alla minore quantità di token necessaria in numerosi compiti. Thinking Machines indica per Inkling-Small un prezzo di output pari a 1,20 dollari per milione di token, contro 4,05 dollari per Inkling. Il costo stimato per ciascuna attività viene calcolato moltiplicando il numero medio di token generati, compresi quelli utilizzati internamente per il ragionamento, per la tariffa di output. Nei test su Terminal-Bench 2.1, Humanity’s Last Exam e IFBench, il modello più piccolo ha mantenuto una curva tra costo e prestazioni più favorevole rispetto a Inkling lungo diversi livelli di sforzo computazionale.
La riduzione dei parametri attivi rende l’inferenza più economica, ma Inkling-Small rimane un modello di dimensioni elevate. Nella versione BF16 richiede complessivamente circa 600 GB di VRAM e può essere distribuito, secondo le configurazioni indicate da Hugging Face, su quattro GPU NVIDIA B300 o GB200 oppure su otto H200. Il checkpoint quantizzato NVFP4 riduce il fabbisogno a circa 180 GB e può essere eseguito su una singola NVIDIA B300 in modalità W4A4 oppure su due H200 in modalità W4A16. Inkling in precisione BF16 richiede invece circa 2 TB di memoria video, mentre la sua versione NVFP4 ne necessita di circa 600 GB.
Hugging Face mette a disposizione una configurazione prevalidata per distribuire Inkling-Small-NVFP4 sui propri Inference Endpoints utilizzando otto RTX PRO 6000, con 768 GB complessivi di VRAM per lasciare spazio alla cache KV e alla gestione simultanea di più richieste. La configurazione viene indicata a un costo di 22 dollari per ogni ora di attività, con la possibilità di ridimensionare il servizio a zero quando non viene utilizzato, e può raggiungere circa 140 token al secondo per un singolo utente. Il supporto all’inferenza comprende inoltre Transformers, SGLang, vLLM e llama.cpp.
I pesi completi di Inkling-Small sono disponibili su Hugging Face e il modello può essere personalizzato attraverso Tinker, la piattaforma di fine-tuning di Thinking Machines. È inoltre accessibile nel Tinker Playground per conversazioni basate su testo, immagini e audio. Inkling e Inkling-Small vengono temporaneamente offerti sulla piattaforma con uno sconto, mentre la fatturazione degli altri modelli e checkpoint segue le tariffe pubblicate nella documentazione di Tinker.
Inkling-Small non è quindi una semplice versione compressa del modello precedente. La nuova composizione dei dati, la distillazione tramite Inkling e il successivo reinforcement learning hanno prodotto un sistema con un diverso equilibrio tra conoscenza, ragionamento, programmazione, latenza e costo. Il modello più grande rimane superiore nei test che dipendono dalla quantità di informazioni memorizzate e dalla copertura fattuale, mentre Inkling-Small ottiene risultati migliori in numerose attività di reasoning, coding agentico e utilizzo degli strumenti, attivando soltanto 12 miliardi di parametri per token.