La competizione tra modelli linguistici di grandi dimensioni è spesso descritta attraverso un insieme di benchmark standardizzati che misurano prestazioni su compiti specifici come ragionamento logico, generazione di codice o comprensione linguistica. Tuttavia, l’emergere di nuovi attori nel settore, tra cui la startup indiana Sarvam AI, sta mostrando come questi indicatori quantitativi non siano sempre sufficienti a comprendere pienamente il valore reale di un modello. Il recente lancio dei modelli Sarvam-30B e Sarvam-105B rappresenta un esempio emblematico di questa dinamica: mentre alcune metriche indicano prestazioni competitive rispetto ad altri modelli open source e proprietari, l’impatto tecnologico del progetto va ben oltre il semplice confronto numerico tra benchmark.
Sarvam AI è una startup fondata a Bengaluru nel 2023 con l’obiettivo di sviluppare modelli linguistici avanzati e sistemi multimodali progettati specificamente per il contesto linguistico e tecnologico dell’India. La società opera all’interno di un più ampio programma nazionale volto a costruire capacità di “sovereign AI”, cioè infrastrutture di intelligenza artificiale sviluppate localmente e adattate alle esigenze del paese. Questa strategia riflette una tendenza crescente in diversi stati, che mirano a ridurre la dipendenza dalle grandi piattaforme tecnologiche globali attraverso lo sviluppo di modelli linguistici proprietari o open source basati su dati e infrastrutture nazionali.
I due modelli principali annunciati dall’azienda sono Sarvam-30B e Sarvam-105B, sistemi basati su architetture di large language model con rispettivamente trenta e centocinque miliardi di parametri. Entrambi sono stati addestrati su dataset che includono numerose lingue indiane e forme di linguaggio “code-mixed”, in cui elementi di lingue diverse vengono combinati nella stessa frase, come avviene spesso nel contesto linguistico dell’India contemporanea. Questo tipo di ottimizzazione linguistica rappresenta uno degli aspetti più distintivi del progetto Sarvam, poiché molti modelli internazionali sono stati addestrati principalmente su dati in inglese e tendono a mostrare prestazioni inferiori quando vengono utilizzati in contesti linguistici regionali complessi.
Dal punto di vista tecnico, il modello Sarvam-105B utilizza un’architettura scalabile con una finestra di contesto fino a circa 128.000 token, che consente al sistema di analizzare documenti molto lunghi e mantenere coerenza su conversazioni o analisi di grandi dimensioni. Questa capacità è particolarmente rilevante per applicazioni enterprise, analisi documentale e sistemi conversazionali avanzati, nei quali la gestione di grandi quantità di testo rappresenta una sfida significativa per molti modelli linguistici.
Le prestazioni dei modelli Sarvam sono state valutate attraverso una serie di benchmark standard utilizzati nella ricerca sull’intelligenza artificiale. In alcuni test, il modello Sarvam-105B ha mostrato risultati competitivi con modelli di dimensioni simili e ha dimostrato buone prestazioni in attività di ragionamento e completamento di compiti complessi. Alcune valutazioni indicano inoltre che il modello è in grado di superare sistemi noti come DeepSeek R1 in specifiche categorie, come il completamento di attività di navigazione o agentic reasoning. Tuttavia, le stesse analisi mostrano anche che il modello non eccelle in tutte le categorie, ad esempio nelle prove di generazione di codice, dove altri modelli rimangono superiori.
Questa variabilità nelle prestazioni evidenzia uno dei problemi più discussi nel campo dei modelli linguistici: i benchmark rappresentano soltanto una fotografia parziale delle capacità di un sistema. Ogni benchmark è progettato per misurare competenze specifiche, come la risoluzione di problemi matematici o la generazione di codice, ma raramente riesce a catturare l’intero spettro delle capacità di un modello linguistico moderno. Inoltre, molti benchmark sono costruiti su dataset limitati che possono essere influenzati da bias statistici o da sovrapposizioni con i dati utilizzati durante l’addestramento dei modelli.
Nel caso di Sarvam AI, il valore del progetto emerge soprattutto quando si considera il contesto tecnologico e strategico in cui è stato sviluppato. Il modello non è stato progettato esclusivamente per competere con i migliori sistemi globali in termini di benchmark, ma per rispondere a esigenze specifiche del mercato indiano, come la gestione di numerose lingue regionali, l’integrazione con sistemi vocali e l’utilizzo in contesti governativi o infrastrutturali. In questo senso, l’obiettivo principale non è necessariamente ottenere il punteggio più alto su ogni benchmark internazionale, ma creare un’infrastruttura AI utilizzabile in applicazioni reali su larga scala.
Un altro elemento che limita l’utilità dei benchmark riguarda la differenza tra prestazioni in ambiente di test e comportamento del modello in scenari reali. Molti benchmark misurano compiti ben definiti con dataset relativamente piccoli, mentre l’uso quotidiano dei modelli linguistici implica interazioni aperte e imprevedibili con utenti reali. In queste situazioni, fattori come la robustezza linguistica, la capacità di gestire ambiguità o l’adattamento culturale possono risultare molto più importanti delle prestazioni su test standardizzati.
Per esempio, i modelli Sarvam sono stati progettati per comprendere e generare contenuti in oltre venti lingue indiane, inclusi casi di code-switching tra lingue locali e inglese. Questa capacità rappresenta un vantaggio significativo in un paese con centinaia di milioni di utenti che utilizzano forme linguistiche ibride nei loro messaggi quotidiani, ma difficilmente può essere catturata pienamente dai benchmark tradizionali sviluppati principalmente per il contesto anglofono.
Un ulteriore aspetto riguarda l’ecosistema tecnologico sviluppato attorno ai modelli. Sarvam non si limita alla creazione di un singolo modello linguistico, ma sta costruendo una piattaforma più ampia che include sistemi di riconoscimento vocale, modelli multimodali per la comprensione di immagini e documenti e strumenti per l’elaborazione di lingue locali. Questa strategia riflette un approccio sistemico allo sviluppo dell’intelligenza artificiale, in cui il valore del modello deriva dalla sua integrazione con una serie di servizi e infrastrutture software progettati per applicazioni specifiche.