Nvidia ha presentato NemotronLabs VoiceChat 11B, un modello vocale da 11 miliardi di parametri progettato per la conversazione in tempo reale e distribuito come open-weight attraverso Hugging Face. Il sistema supporta un’interazione full-duplex, cioè è in grado di elaborare la voce dell’utente mentre sta ancora parlando e di gestire il cosiddetto barge-in, interrompendo la propria risposta quando l’utente interviene. A differenza dei tradizionali assistenti vocali costruiti come una pipeline separata di riconoscimento vocale, modello linguistico e sintesi vocale, VoiceChat 11B integra questi passaggi in un’unica rete di streaming, riducendo i ritardi dovuti al trasferimento dei dati tra componenti distinti.
L’architettura utilizza un encoder vocale Fast Conformer per elaborare audio in ingresso a 16 kHz, un backbone ibrido Mamba-Transformer basato su Nemotron Nano V2 9B e un decoder TTS per generare la risposta vocale. L’audio prodotto viene emesso a 22,05 kHz. Un decoder RNN-T separato trascrive contemporaneamente in testo la voce dell’utente, mentre un ulteriore canale di output è dedicato alla generazione degli script necessari per il tool calling. Questa struttura consente quindi al modello di mantenere la conversazione vocale, produrre una trascrizione in tempo reale e preparare nello stesso flusso le chiamate verso API o funzioni esterne.
Il tool calling rappresenta una delle caratteristiche centrali del modello. Nvidia lo presenta come il primo modello vocale full-duplex open-weight capace di richiamare strumenti esterni durante una conversazione. Quando l’utente formula una richiesta che richiede dati o funzioni aggiuntive, il sistema può avviare l’API necessaria mantenendo il contesto della conversazione e, durante l’esecuzione dello strumento, riprodurre un messaggio vocale predefinito che comunica all’utente di attendere. Il meccanismo può essere utilizzato, ad esempio, per recuperare informazioni meteorologiche, appuntamenti o altri dati attraverso servizi esterni e restituire successivamente il risultato in forma vocale.
Nelle valutazioni pubblicate da Nvidia, la latenza associata al normale cambio di turno della conversazione è risultata di circa 448 millisecondi. Quando invece l’utente interrompe il modello mentre sta parlando, il sistema reagisce in circa 480 millisecondi. Nei test dedicati alla conversazione full-duplex ha ottenuto un turnover rate di 0,82, mentre la qualità della gestione delle interruzioni ha raggiunto 4,33 punti su 5 in una valutazione effettuata con GPT-4o.
Le prestazioni relative al tool calling risultano invece meno uniformi. Nel benchmark Full-Duplex-Bench v3 il modello ha selezionato lo strumento corretto nell’82,5% dei casi, ma l’accuratezza degli argomenti passati allo strumento si è fermata al 44,2%. Il tasso complessivo di successo al primo tentativo è stato del 33%. Nel benchmark BFCL-v3 ha ottenuto il 58,5% nelle chiamate a singolo strumento, il 62,5% nelle chiamate a più strumenti e il 42,5% nelle chiamate parallele. Nvidia raccomanda attualmente di limitare a cinque il numero di strumenti utilizzati all’interno della stessa sessione e segnala inoltre che, durante l’esecuzione di uno strumento, l’utente non può interrompere il modello.
Nelle prove dedicate alla comprensione e al ragionamento vocale, VoiceChat 11B ha raggiunto il 38,8% su Big Bench Audio secondo Artificial Analysis, ottenendo il punteggio più alto tra i modelli full-duplex open-weight considerati. Nel test relativo alle dinamiche conversazionali ha registrato il 77,8%, risultato che lo colloca al secondo posto. Il modello rimane tuttavia dietro a sistemi commerciali chiusi come GPT-Realtime e Grok Voice Agent nelle valutazioni dedicate sia al ragionamento vocale sia alla gestione della conversazione. Nvidia concentra quindi il vantaggio del modello soprattutto sulla possibilità di scaricare i pesi, ispezionarli e adattarli ulteriormente ai dati specifici di un’organizzazione.
L’addestramento ha utilizzato complessivamente circa 550.000 ore di dati audio. Il dataset combina raccolte pubbliche come Fisher, LibriVox, LibriTTS, HiFi-TTS e VCTK con dati vocali sintetici e registrazioni in studio ottenute direttamente da Nvidia. Il modello è stato pubblicato per attività di ricerca con licenza OpenMDW-1.1 e può essere eseguito in ambiente Linux attraverso vLLM su GPU Nvidia da 80 GB, tra cui A100, H100, H200, B100, B200 e RTX 6000.
Restano alcuni limiti rilevanti per un impiego commerciale immediato. VoiceChat 11B è principalmente orientato alla lingua inglese, supporta un contesto audio massimo di due minuti e può perdere precisione in ambienti caratterizzati da forte rumore o riverbero. Nvidia sta parallelamente sviluppando Nemotron 3 VoiceChat, un modello di nuova generazione da 12 miliardi di parametri già disponibile attraverso un programma di early access. Questa versione è progettata per elaborare chunk audio da 80 millisecondi più velocemente del tempo reale e punta a ridurre la latenza end-to-end sotto i 300 millisecondi.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)