NVIDIA ha annunciato il 28 ottobre 2026 il rilascio di Nemotron 3.5 Transcribe, un modello di intelligenza artificiale per l’elaborazione del parlato distribuito con pesi aperti, accompagnato dal dataset Granary v2, che comprende un manifesto pubblico relativo a 463.062 ore di registrazioni in 48 lingue. Nemotron 3.5 Transcribe integra in un unico modello funzionalità di trascrizione multilingue, identificazione dei parlanti, traduzione e risposta a domande basate sul contenuto audio, evitando la necessità di utilizzare separatamente modelli specializzati per ciascuna operazione. Il sistema supporta la trascrizione in 40 lingue, la traduzione tra l’inglese e 31 lingue e l’attribuzione dei parlanti in 13 lingue, con la possibilità di elaborare registrazioni della durata massima di un’ora e distinguere fino a otto interlocutori. La distribuzione avviene attraverso Hugging Face, NVIDIA NeMo Speech su GitHub, NVIDIA NGC e Build.Nvidia.com, con pesi disponibili secondo la licenza OpenMDW-1.1 per impieghi commerciali e non commerciali. Sono inoltre previsti endpoint gestiti attraverso Baseten, DeepInfra e Simplismart e ambienti dimostrativi accessibili tramite Hugging Face Spaces e ModelScope Studios.
L’architettura di Nemotron 3.5 Transcribe utilizza un modello da circa 34 miliardi di parametri complessivi, dei quali circa 4,3 miliardi vengono attivati per token, e dispone di una finestra di contesto pari a 65.536 token. Il sistema combina un encoder Transformer per il riconoscimento automatico del parlato da 600 milioni di parametri, un encoder Nemotron-3-Diarization da circa 99 milioni di parametri dedicato alla caratterizzazione dei parlanti e un componente Connectionist Temporal Classification per l’individuazione dei riferimenti temporali delle singole parole. La componente linguistica è basata su NVIDIA Nemotron-3.5 Lightning 30B-A3B, un’architettura ibrida Mamba-2 e Transformer di tipo mixture-of-experts. Il modello è distribuito con pesi in formato BF16 e dispone anche di varianti quantizzate FP8 e NVFP4, mentre un modello opzionale DFlash2 permette di utilizzare tecniche di speculative decoding per accelerare la generazione. L’interazione avviene attraverso istruzioni in linguaggio naturale, con le quali gli sviluppatori possono richiedere trascrizioni letterali oppure normalizzate, fornire un vocabolario contestuale contenente termini tecnici o medici, ottenere etichette dei parlanti e timestamp a livello di parola, eseguire traduzioni e formulare domande sul contenuto della registrazione.
La documentazione NVIDIA distingue le prestazioni disponibili nelle differenti lingue e nelle diverse attività, classificandole secondo livelli qualitativi che vanno da Leading a Supported. Le funzionalità di comprensione dell’audio e di esecuzione di istruzioni riferite al parlato sono state valutate in inglese, lingua sulla quale è stato addestrato anche il sistema di risposta a domande audio. Nemotron 3.5 Transcribe è progettato per l’elaborazione offline e non costituisce un servizio di trascrizione in streaming in tempo reale: l’eventuale suddivisione interna delle registrazioni in segmenti non modifica questa caratteristica. Il processo di addestramento ha utilizzato circa 1,72 milioni di ore audio indicizzate uniche, organizzate in circa 372 milioni di esempi, insieme a 5,6 miliardi di token testuali unici. Le fonti comprendono Granary v2, raccolte di conversazioni con più interlocutori, dati per la comprensione del parlato e registrazioni sintetiche preparate tenendo conto della gestione delle informazioni personali. Parte dei dati è stata concessa in licenza da David AI, mentre NVIDIA precisa che il set di valutazione DAI-ASR-I18N della stessa società non è stato incluso nell’addestramento.
Nelle valutazioni comunicate dal produttore, Nemotron 3.5 Transcribe ha raggiunto un Word Error Rate medio del 5,33% nella classifica Hugging Face Open ASR English, ottenendo il primo posto tra i modelli con pesi aperti nel confronto che esclude i servizi API proprietari. Nei confronti riportati nella documentazione, il modello ha registrato un WER medio multilingue del 4,62% su sette lingue e un risultato del 10,98% nelle prove di trascrizione di registrazioni lunghe, entrambi indicati come i valori più bassi tra i sistemi open-weight confrontati. Nelle tabelle di valutazione aggiornate al 12 ottobre 2026, la media su nove dataset inglesi è del 4,71%, rispetto al 4,94% di Qwen3-ASR-1.7B, mentre il risultato cpWER sulle registrazioni con più interlocutori è pari al 15,80%, contro il 16,83% della combinazione DiCoW v3.3 e DiariZen. NVIDIA indica inoltre un risultato AA-WER del 2,8% nell’indice speech-to-text di Artificial Analysis, in posizione condivisa con un altro modello open-weight che richiede l’attivazione di circa 24 miliardi di parametri per token, rispetto ai circa quattro miliardi utilizzati da Nemotron 3.5 Transcribe.
Il dataset Granary v2 comprende 463.062 ore distribuite in 48 lingue e provenienti da sedici raccolte audio, ampliando la copertura linguistica rispetto alle 25 lingue di Granary v1. NVIDIA ha sviluppato la procedura di preparazione dei dati attraverso NeMo Curator, con la produzione di tre differenti rappresentazioni testuali per ciascuna registrazione: trascrizione letterale con normalizzazione del testo, trascrizione con normalizzazione inversa e conservazione delle disfluenze, e trascrizione con normalizzazione inversa senza disfluenze. Il processo genera inoltre descrizioni, informazioni per il ripristino dei cambi di lingua all’interno del parlato, coppie domanda-risposta collegate al contenuto audio, termini utilizzabili per il contextual biasing e traduzioni accompagnate da valutazioni automatiche della qualità. La pipeline è articolata in quattro fasi, comprendenti preparazione dei metadati e dei file audio, trascrizione mediante modelli ASR principali e di recupero con controlli sulle possibili allucinazioni, generazione delle etichette con verifiche di concordanza e filtraggio finale ad alta fedeltà. Nel caso della raccolta VoxPopuli, quest’ultimo procedimento ha ridotto circa 354.000 ore iniziali a 111.000 ore selezionate in 22 lingue europee. I manifesti contengono indicazioni sulle entità riconosciute, istruzioni, provenienza e valutazioni qualitative per singola registrazione; i file audio originali vengono recuperati separatamente nel rispetto delle licenze delle rispettive fonti. L’infrastruttura di elaborazione supporta i backend Ray e NVIDIA Dynamo.
NVIDIA ha presentato anche un caso di adattamento del modello al riconoscimento di terminologia medica e accenti regionali, utilizzando il benchmark aperto Eka Care composto da 3.619 registrazioni realizzate da medici e studenti di medicina indiani. La semplice indicazione nel prompt della lingua inglese e dell’alfabeto latino ha ridotto il WER complessivo dal 30,8% al 23,8%, mentre il successivo fine-tuning ha portato il valore all’11,8%. Su un sottoinsieme di 2.764 registrazioni non impiegate per l’adattamento e valutate attraverso la pipeline KARMA, il WER è sceso dal 22,44% al 12,17%, corrispondente a una riduzione relativa del 45,8%. Nello stesso confronto, il tasso di errore sulle parole chiave è diminuito dal 9,2% al 6,5% e quello semantico dal 10,0% al 7,6%. È stato osservato anche un lieve peggioramento su LibriSpeech test-clean, con WER passato dall’1,54% all’1,69%. L’adattamento è stato effettuato utilizzando circa 153 ore di parlato sintetico, 29 ore di inglese con accenti regionali provenienti da Common Voice e 63 ore di registrazioni mediche MultiMed, richiedendo approssimativamente 14 GPU-ore su una singola NVIDIA GB300.
Il modello può essere eseguito su una singola GPU NVIDIA, comprendendo sistemi Jetson AGX Thor, DGX Spark e piattaforme Blackwell destinate ai data center. Secondo i benchmark NVIDIA, una GPU RTX PRO 6000 Blackwell Server Edition, utilizzando l’implementazione NIM ottimizzata con precisione NVFP4 e speculative decoding DFlash2, può elaborare fino a 2.238 secondi di registrazioni per ogni secondo di esecuzione. Nella configurazione descritta dall’azienda, cento ore di audio suddivise in segmenti da trenta secondi e processate con elevata concorrenza vengono trascritte in meno di tre minuti. Le ottimizzazioni di serving utilizzate per questi risultati non sono ancora comprese nella distribuzione open source. Per l’esecuzione sono supportati vLLM 0.32.0 con plugin NeMo Speech e l’inferenza locale tramite NeMo-Speech.cpp. NVIDIA mette inoltre a disposizione una competenza agentica dedicata al fine-tuning, utilizzabile da agenti di programmazione per guidare le procedure di adattamento, mentre ModelScope supporta l’addestramento personalizzato attraverso il framework ms-swift.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).