Immagine AI

Sarvam AI ha presentato Sarvam Token Factory, una piattaforma per l’inferenza di modelli di intelligenza artificiale a pesi aperti eseguiti su infrastrutture GPU situate in India e accessibili attraverso un’interfaccia API compatibile con OpenAI. Il servizio permette a sviluppatori e aziende di utilizzare Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro e Gemma 4 31B, attraverso un sistema unificato di autenticazione, librerie SDK e crediti. La selezione del modello avviene modificando il parametro model nelle richieste indirizzate all’endpoint https://api.sarvam.ai/v2. L’infrastruttura, secondo quanto comunicato dall’azienda, gestisce già oltre 450 miliardi di token giornalieri associati al modello DeepSeek V4.1 Flash. La piattaforma prevede modalità di accesso serverless, capacità di elaborazione condivisa o dedicata e configurazioni Provisioned Throughput, attraverso le quali vengono resi disponibili a livello organizzativo anche DeepSeek V4 Pro e Kimi K3.1 Pro. Sarvam propone inoltre l’installazione on-premises del proprio stack di ottimizzazione dell’inferenza.

Una delle caratteristiche principali dell’architettura riguarda la separazione delle risorse computazionali destinate alle fasi di prefill e decode. La prima comprende l’elaborazione iniziale del prompt e la costruzione delle rappresentazioni necessarie alla generazione della risposta, mentre la seconda riguarda la produzione sequenziale dei token di output. Sarvam assegna queste operazioni a gruppi distinti di GPU, limitando le interferenze tra richieste caratterizzate da finestre contestuali particolarmente estese e sessioni di generazione già in corso. Il sistema di orchestrazione utilizza inoltre informazioni sul contenuto precedentemente elaborato per instradare le richieste verso le risorse computazionali più appropriate, considerando nella gestione dell’ammissione dei nuovi incarichi soltanto i token non ancora presenti nella cache.

A questo meccanismo si aggiunge G3, un livello di caching condiviso basato sulla tecnologia Mooncake di Moonshot, utilizzabile da tutti i server responsabili del prefill. L’architettura permette di estendere la conservazione delle rappresentazioni contestuali oltre i limiti temporali imposti dalla memoria delle GPU, nella quale queste informazioni rimangono disponibili per circa quattro secondi, ridotti a due in condizioni di carico elevato. G3 può invece conservarle per ore o giorni, in funzione del traffico, consentendone il riutilizzo nelle sessioni agentiche caratterizzate da ripetute interazioni con strumenti esterni. Sarvam dichiara che il 95,7% dei token di input di DeepSeek V4.1 Flash beneficia del caching e che l’impiego di G3 ha permesso di ridurre da 58 a 34 il numero massimo di nodi di prefill necessari per GLM 5.3. Per Sarvam 105B, l’adozione del formato numerico MXFP8 al posto di BF16, combinata con tecniche di speculative decoding, ha incrementato di circa 2,2 volte il throughput di generazione, riducendo da due a una le GPU NVIDIA B200 necessarie per ciascuna replica del modello, senza perdite di accuratezza secondo le misurazioni aziendali. Gli esperimenti di ottimizzazione vengono coordinati da un agente che distribuisce le attività a sottoagenti specializzati, mentre l’approvazione delle modifiche destinate agli ambienti di produzione rimane affidata agli ingegneri.

Sarvam ha pubblicato anche una serie di confronti prestazionali. Gemma 4 31B, utilizzando prompt da 10.000 token in un test di 72 ore condotto attraverso un client AWS situato a Mumbai, ha registrato un tempo mediano di generazione del primo token pari a 0,40 secondi e una velocità di 308 token al secondo, rispetto ai 2 secondi e 193 token al secondo del concorrente considerato. Kimi K3.1 Pro, utilizzato su 16 GPU B200 con carichi rappresentativi delle attività degli agenti di programmazione, ha raggiunto un throughput di 6.177 token al secondo per GPU, mantenendo una velocità individuale di circa 70 token al secondo. Il confronto con Together per DeepSeek V4.1 Flash evidenzia invece prestazioni inferiori per Sarvam Standard, con una latenza iniziale di 0,90 secondi contro 0,71 e una velocità di generazione di 130 token al secondo contro 278.

Le tariffe introduttive, valide fino alla conclusione del 2026, prevedono per Sarvam 105B un costo di 10 rupie indiane per milione di token di input e 25 rupie per milione di token di output. DeepSeek V4.1 Flash 1017, nella configurazione Standard, presenta rispettivamente tariffe di 14 e 55 rupie, mentre per entrambi i modelli il costo dei token di input recuperati dalla cache è pari a 0,25 rupie per milione, al netto delle imposte. L’elaborazione viene effettuata sulle infrastrutture indiane gestite da Sarvam, senza inoltrare le richieste alle API dei produttori originari dei modelli. Per le implementazioni aziendali è previsto un accordo contrattuale di disponibilità del servizio del 99,95%, con possibilità di concordare condizioni di conservazione nulla dei prompt e delle risposte, gestendo separatamente i registri operativi.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy