NVIDIA, in collaborazione con l’Indian Institute of Technology Madras e il laboratorio AI4Bharat, ha presentato Nemotron-pretraining-Indic-v1, un corpus sintetico destinato al preaddestramento di modelli linguistici multilingue, costituito da circa 2,8 trilioni di token distribuiti tra le 22 lingue riconosciute dalla Costituzione indiana. L’iniziativa affronta la disponibilità limitata di dati di addestramento per le lingue dell’India, che rappresentano la lingua madre di circa il 97% della popolazione secondo i riferimenti demografici utilizzati nel progetto. Insieme al dataset, la cui pubblicazione è prevista prossimamente, NVIDIA rende disponibile la pipeline aperta di generazione accelerata su GPU, progettata per tradurre grandi quantità di documenti, controllare automaticamente la qualità linguistica e conservare la tracciabilità dei contenuti rispetto alle fonti originali. L’implementazione si basa sul framework open source NeMo Data Designer e comprende procedure di valutazione, correzione delle traduzioni, conversione dei sistemi di scrittura e recupero dei documenti che non superano inizialmente le verifiche qualitative.
Il corpus comprende 2.601 miliardi di token nei sistemi di scrittura nativi e 224,6 miliardi di token in forma romanizzata, conteggiati utilizzando il tokenizer Gemma 4, per un totale di 34 configurazioni lingua-scrittura. Tutte le 22 lingue dispongono di dati nei rispettivi sistemi grafici, mentre dodici sono rappresentate anche in caratteri latini: bengalese, gujarati, hindi, kannada, malayalam, marathi, nepalese, odia, punjabi, tamil, telugu e urdu. Le altre dieci, ossia assamese, bodo, dogri, kashmiro, konkani, maithili, manipuri, sanscrito, santali e sindhi, dispongono esclusivamente di contenuti nella scrittura nativa. La definizione di dato nativo riguarda il sistema grafico utilizzato e non implica che il documento sia stato originariamente scritto nella lingua di destinazione, poiché i materiali derivano dalla traduzione di contenuti inglesi. La componente romanizzata è invece ottenuta convertendo una parte delle traduzioni approvate in caratteri latini. Le quantità dichiarate descrivono i dati conservati, comprese le traduzioni recuperate attraverso successive correzioni, e non corrispondono necessariamente al numero di token utilizzati in una singola sessione di addestramento.
La generazione parte da 15 sottoinsiemi di Nemotron-CC-v2, comprendenti documenti web, materiali di domanda e risposta, matematica, codice e contenuti specialistici. Per le dodici lingue con doppia rappresentazione grafica viene utilizzato Gemma-4-31B-it, selezionato attraverso valutazioni sulla traduzione di documenti completi. Le istruzioni distinguono esplicitamente il testo da tradurre dagli elementi che devono rimanere invariati, come codice sorgente, formule matematiche, URL e formattazione. Lo stesso modello esamina successivamente le traduzioni confrontandole con il documento inglese, mediante una griglia ispirata al framework Multidimensional Quality Metrics che considera correttezza semantica, fluidità, terminologia, stile e conservazione della struttura. Sono accettati soltanto risultati con punteggio almeno pari a 75 su 100; quelli inferiori vengono sottoposti a un processo di correzione guidato dal feedback e nuovamente valutati. Questo procedimento ha consentito di recuperare 438,4 miliardi di token, già inclusi nella dimensione complessiva del dataset. La romanizzazione avviene dopo l’approvazione delle traduzioni in scrittura nativa, una scelta motivata da verifiche umane che hanno individuato meno aggiunte non giustificate e minori residui di inglese rispetto alla generazione diretta di testi romanizzati.
Per le altre dieci lingue viene adottato Indic Translate, modello di traduzione documentale sviluppato da Bodhan AI, centro non profit per l’intelligenza artificiale applicata all’istruzione nato presso IIT Madras. Anche in questo caso Gemma-4-31B-it svolge la valutazione qualitativa, mantenendo la soglia minima di 75 punti, ma senza applicare il ciclo di riscrittura basato sul feedback. Otto lingue vengono trattate mediante traduzione documentale completa; per il santali i testi più lunghi sono suddivisi in finestre sovrapposte e successivamente ricostruiti, mentre il manipuri viene inizialmente tradotto in scrittura bengalese e poi convertito nel sistema Meitei Mayek. La pipeline mantiene identificativi associati ai documenti di origine, permette controlli sui duplicati di lavorazione e rende disponibili componenti riutilizzabili attraverso il plugin Nemotron Bharat per NeMo Data Designer, comprendenti prompt, valutazione, riscrittura facoltativa, suddivisione dei documenti e conversione degli alfabeti.
NVIDIA ha già impiegato una combinazione di dati sintetici e naturali nelle attività di continued pretraining di Nemotron 3.5 Super VL, riservando alle lingue indiane 10 miliardi di token su un budget complessivo di addestramento di 100 miliardi. Il confronto tra checkpoint precedenti e successivi a questa fase mostra miglioramenti compresi tra 4,98 e 9,82 punti percentuali nei cinque benchmark MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K. Le valutazioni riportano inoltre risultati superiori rispetto a Nemotron 3 Super in cinque delle sei prove considerate e miglioramenti nelle quattro dimensioni del benchmark IndiVibe, dedicate a utilità, fluidità, correttezza linguistica e grafica e adeguatezza della lunghezza delle risposte; nel test IFEval 1.5 viene invece registrata una diminuzione di 2,04 punti. Poiché l’addestramento ha combinato dati sintetici e naturali, i risultati non isolano il contributo specifico del nuovo corpus e restano necessarie ulteriori verifiche controllate.
Parallelamente, AI4Bharat ha introdotto Indic-LLM-Eval-Suite, una raccolta aperta di benchmark per le lingue indiane, integrata con NVIDIA NeMo-Gym e organizzata attorno a conversazione generale, rispetto delle istruzioni, matematica, discipline STEM, ragionamento di senso comune, conoscenza, programmazione e traduzione. La prima versione incorpora anche aggiornamenti quali MILU-1.5 e IndicIFEval-1.5, realizzati correggendo domande incomplete, figure mancanti, traduzioni inesatte e problemi nei sistemi automatici di verifica dei vincoli. Il corpus sarà consultabile attraverso configurazioni linguistiche identificate da codici di lingua, scrittura e regione, ad esempio hi-Deva-IN e hi-Latn-IN, anche in modalità streaming su Hugging Face. NVIDIA precisa che le traduzioni sintetiche non sostituiscono contenuti originariamente prodotti nelle lingue locali, che i controlli automatici possono lasciare errori residui e che la copertura della revisione da parte di madrelingua varia tra gli idiomi; inoltre, la rimozione dei duplicati tecnici non equivale a una deduplicazione semantica dei documenti simili. I dati dovranno quindi essere integrati con fonti naturali adeguatamente selezionate, mentre ulteriori verifiche e aggiornamenti della suite di valutazione sono previsti nelle fasi successive del progetto.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)