Sarvam AI ha presentato il 3 novembre 2026 Sarvam Prism, un modello open-weight progettato specificamente per prendere decisioni tra alternative predefinite senza utilizzare il tradizionale meccanismo di generazione autoregressiva del testo. Il sistema deriva da Sarvam 105B ed è stato adattato mediante fine-tuning LoRA per elaborare uno stato operativo, una domanda e un insieme di opzioni, assegnando a ciascuna alternativa un punteggio probabilistico attraverso un unico passaggio di inferenza. L’architettura sostituisce quindi la generazione sequenziale di token con un processo di classificazione e valutazione, destinato ad applicazioni aziendali nelle quali è necessario selezionare rapidamente un’azione o una categoria. Tra gli utilizzi previsti figurano l’instradamento delle richieste di assistenza, la scelta del modello AI da utilizzare, l’intelligenza documentale e la verifica dell’esecuzione degli agenti. I pesi sono disponibili su Hugging Face con licenza Apache 2.0, mentre il servizio ospitato è accessibile tramite API Sarvam sulla piattaforma Indus.
Prism supporta fino a 131.072 token per richiesta, consentendo di analizzare documenti estesi e tracce operative di agenti senza suddividerli necessariamente in più interrogazioni. L’esecuzione nella configurazione FP8 richiede una GPU con almeno 120 GB di memoria. Il modello utilizza una testa di classificazione dedicata e un meccanismo di attenzione personalizzato che mantiene separate le opzioni durante l’elaborazione, permettendo al sistema di valutare ogni alternativa rispetto al contesto senza introdurre interferenze indesiderate tra le risposte. Il fine-tuning combina due funzioni obiettivo con uguale ponderazione: una cross-entropy con label smoothing del 5%, impiegata per ridurre la tendenza a produrre probabilità eccessivamente assolute, e una Brier loss, che penalizza gli scostamenti tra probabilità previste e risultati corretti. Questa configurazione è stata scelta per ottenere non soltanto classificazioni accurate, ma anche punteggi di confidenza utilizzabili nei processi decisionali automatizzati.
Nelle misurazioni pubblicate da Sarvam, Prism raggiunge una latenza mediana di 44 millisecondi su una singola GPU NVIDIA B200. La configurazione iniziale richiedeva invece due B200 in precisione a 16 bit e produceva una latenza mediana di 664 millisecondi. Il risultato finale è stato ottenuto attraverso la quantizzazione FP8, l’accorpamento dei 128 esperti in un kernel, l’utilizzo di CUDA Graph, la fusione delle conversioni numeriche nei kernel e l’integrazione dell’adattatore di fine-tuning nei pesi del modello. Sarvam dichiara di non aver registrato perdite di accuratezza. In una valutazione di 25 modelli Prism ha ottenuto un punteggio medio di 71,8, composto da 67,0 sul Jev Decision Index, 65,9 su una ricostruzione dell’Artificial Analysis Decision Index e 82,5 su un benchmark dedicato alle lingue indiane. Il modello mammoth-1 ha raggiunto un punteggio complessivo superiore, pari a 75,2, ma con una latenza mediana di 284 millisecondi. Alcuni sistemi disponibili esclusivamente via API sono stati confrontati usando tempi pubblicamente dichiarati, non misurazioni condotte nello stesso ambiente hardware.
La calibrazione delle probabilità è stata verificata su 226.088 domande tratte da 37 benchmark pubblici in inglese e su 20.108 domande in dieci lingue indiane e Hinglish. Con una soglia di confidenza del 90%, Prism ha previsto rispettivamente tassi di errore del 3,3% e del 5,4%, registrando errori effettivi del 2,2% e del 4,4%. Un test su 2.000 domande ha inoltre identificato una variazione del 4% delle risposte quando veniva modificato l’ordine delle opzioni; normalizzando internamente tale ordine prima della valutazione, Sarvam ha eliminato il problema nel campione esaminato senza aumentare il calcolo. Per il controllo degli agenti sono state utilizzate 700 esecuzioni registrate e 1.770 domande, ottenendo un’accuratezza complessiva del 78,5%, con risultati dell’86,4% nell’individuazione dei casi che richiedono revisione umana. Sul benchmark interno di cybersicurezza, composto da 5.517 domande relative a nove categorie, Prism ha raggiunto l’89%, rispetto all’84,5% di Clef, al 78,6% di Jev 1.14 e al 76,1% di Microsoft-Decision-1. Sarvam prevede di pubblicare successivamente questo insieme di valutazione, permettendo una verifica esterna dei risultati oggi dichiarati.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)