NVIDIA ha reso disponibile NemotronLabs RE-USE, un modello di intelligenza artificiale dedicato al miglioramento e al ripristino dei segnali vocali compromessi da differenti forme di degradazione acustica. Distribuito attraverso Hugging Face con possibilità di impiego commerciale, il sistema è stato progettato per ridurre il rumore di fondo, il riverbero, le distorsioni dovute al clipping, le limitazioni di banda, gli artefatti introdotti dalla compressione audio e le conseguenze della perdita di pacchetti durante la trasmissione. Il modello affronta anche le alterazioni prodotte da microfoni di qualità limitata, cercando di conservare la comprensibilità del parlato e le caratteristiche vocali dell’interlocutore. La particolarità tecnica è rappresentata dalla dimensione estremamente contenuta: RE-USE utilizza 9,6 milioni di parametri e occupa circa 38,4 MB quando i pesi sono rappresentati nel formato FP32. Nonostante queste dimensioni, NVIDIA dichiara prestazioni superiori a quelle di modelli pubblici sensibilmente più grandi, tra cui Sidon, dotato di circa 250 milioni di parametri, e UniPASE, che ne utilizza circa 500 milioni.
L’architettura combina un encoder convoluzionale, un nucleo centrale formato da 30 livelli bidirezionali Mamba e un decoder che ricostruisce il segnale audio elaborato. Il componente Mamba appartiene alla famiglia dei modelli basati su rappresentazioni dello spazio degli stati e permette di trattare sequenze temporali mantenendo una complessità computazionale che cresce in modo lineare rispetto alla lunghezza dell’ingresso. Questa caratteristica lo distingue dalle architetture che utilizzano meccanismi di self-attention completi, nei quali il costo di elaborazione può aumentare quadraticamente con la lunghezza della sequenza. Nel sistema RE-USE, l’encoder trasforma i segnali sonori in rappresentazioni interne adatte all’elaborazione, mentre il nucleo Mamba analizza le componenti temporali e frequenziali per identificare le caratteristiche del parlato e le alterazioni introdotte durante la registrazione o la trasmissione. Il decoder produce successivamente il segnale migliorato, cercando di ridurre gli elementi indesiderati senza compromettere il contenuto vocale.
Il modello supporta frequenze di campionamento comprese tra 8 e 48 kHz, includendo 8, 16, 22,05, 24, 32, 44,1 e 48 kHz, senza richiedere modelli separati per ciascuna configurazione. L’addestramento ha utilizzato parlato in inglese, tedesco, spagnolo, francese e cinese, con l’obiettivo di ottenere un comportamento non strettamente dipendente da una singola lingua. Il sistema è stato inoltre preparato per trattare registrazioni nelle quali più persone parlano contemporaneamente, privilegiando la conservazione della voce principale e attenuando le altre sorgenti vocali. Questa capacità può risultare utile durante la pulizia di interviste o podcast, ma non costituisce un sistema completo di separazione e identificazione degli interlocutori: per distinguere individualmente tutte le voci o assegnarle a specifiche persone sono necessari strumenti differenti. Per rappresentare condizioni acustiche variabili, l’addestramento ha utilizzato circa 2.500 ore di dati vocali sintetici e risposte impulsive di ambienti e microfoni, riproducendo diverse caratteristiche di riverberazione e registrazione.
Le prestazioni sono state valutate sul test set non blind di URGENT 2025, utilizzando indicatori dedicati alla qualità del segnale, all’intelligibilità del parlato, alla somiglianza della voce e all’accuratezza dei sistemi di riconoscimento automatico. Secondo NVIDIA, RE-USE ha superato Sidon e UniPASE nelle valutazioni considerate, comprendenti PESQ, STOI e misure legate al riconoscimento vocale. Su dati campionati a 16 kHz, l’accuratezza del riconoscimento dei caratteri è aumentata dal 76,5% del segnale degradato all’87,1% dopo il ripristino. Nelle prove a 44,1 kHz, la somiglianza dell’identità vocale ha raggiunto 0,90, rispetto al valore di 0,57 riportato per Resemble Enhance. I risultati sono riferiti alle specifiche condizioni sperimentali e non garantiscono necessariamente lo stesso miglioramento su qualunque registrazione.
RE-USE è destinato a essere integrato in pipeline di elaborazione audio, sistemi di riconoscimento automatico del parlato e strumenti di preparazione dei dataset utilizzati per addestrare modelli vocali. Può essere impiegato nella pulizia di registrazioni per podcast e produzioni video, nella preparazione dei dati per sintesi vocale e nell’elaborazione preliminare degli ingressi destinati a modelli linguistici multimodali. NVIDIA indica un ambiente di inferenza basato su Linux e GPU della famiglia Ampere, compresi acceleratori A100, con possibilità di utilizzare Triton Inference Server. La società mette inoltre a disposizione una dimostrazione su Hugging Face per esaminare singoli file audio e uno script dedicato alla gestione delle registrazioni superiori a trenta secondi, che vengono suddivise in segmenti parzialmente sovrapposti per ridurre il consumo di memoria GPU. Le dimensioni del modello e la struttura computazionale rendono RE-USE particolarmente interessante come componente aggiuntivo nei sistemi che devono migliorare la qualità del parlato senza ricorrere a un modello audio di grandi dimensioni.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)