Meta ha presentato Muse Voice Transcribe, un nuovo modello di intelligenza artificiale per il riconoscimento vocale in tempo reale capace di gestire nello stesso sistema trascrizione automatica, identificazione dei diversi interlocutori e rilevamento della conclusione di un intervento. Si tratta del primo modello di percezione audio in tempo reale sviluppato dai Meta Superintelligence Labs, MSL, e utilizza un’architettura basata sullo streaming Automatic Speech Recognition, integrando nativamente funzioni di diarizzazione e di endpointing che nei sistemi tradizionali possono richiedere moduli o fasi di elaborazione separate. Il modello ha raggiunto un Word Error Rate del 3,1% nei test di trascrizione vocale streaming ed è stato posizionato al primo posto nel relativo benchmark di Artificial Analysis.
Uno degli elementi centrali di Muse Voice Transcribe è una tecnologia denominata Adaptive Delay, progettata per gestire dinamicamente il compromesso tra precisione del riconoscimento e latenza. Il modello analizza l’audio in intervalli di 80 millisecondi e decide autonomamente se produrre immediatamente la trascrizione di una parola oppure attendere una porzione aggiuntiva del segnale per acquisire un contesto maggiore. Quando il termine risulta semplice da riconoscere, la risposta può quindi essere prodotta rapidamente, mentre in presenza di parole più ambigue il sistema può ritardare l’output per raccogliere ulteriori informazioni dal segmento audio successivo.
La gestione di questo comportamento è stata ottimizzata attraverso reinforcement learning. Durante l’addestramento sono state utilizzate congiuntamente una funzione di ricompensa orientata alla riduzione del Word Error Rate e una seconda componente destinata invece alla riduzione della latenza. Il sistema non viene quindi ottimizzato esclusivamente per ottenere la massima velocità oppure la massima accuratezza, ma cerca automaticamente un equilibrio tra i due parametri considerando anche il tempo necessario affinché la frase finale venga completata correttamente.
Muse Voice Transcribe integra inoltre direttamente la diarizzazione degli interlocutori. Il modello è in grado di distinguere i cambi di persona durante una conversazione senza richiedere una fase separata di post-processing e può operare anche su registrazioni particolarmente lunghe con oltre 20 partecipanti. Il sistema supporta input audio superiori a un’ora e può gestire anche fenomeni di code-switching, cioè situazioni nelle quali uno stesso interlocutore passa da una lingua all’altra all’interno della stessa frase o conversazione.
Il modello è stato addestrato su più di 70 lingue, mentre al momento del lancio Meta indica 25 lingue come ufficialmente validate. Tra queste figurano coreano, inglese, cinese e spagnolo. Il sistema include inoltre funzioni di biasing che permettono di aumentare la probabilità di riconoscere correttamente determinate parole o espressioni utilizzando informazioni sulla lingua, parole chiave specifiche e contesto della conversazione. Questa funzione può risultare particolarmente utile quando la trascrizione comprende termini tecnici, nomi propri o vocaboli che compaiono con una frequenza relativamente bassa nei normali dati linguistici.
Nei test di Artificial Analysis dedicati alla conversione speech-to-text in streaming, Muse Voice Transcribe ha ottenuto un Word Error Rate del 3,1%, risultando il modello con il valore migliore nel benchmark. Anche la diarizzazione ha registrato risultati di primo livello: nei benchmark pubblici dedicati alla separazione degli interlocutori, il modello ha raggiunto un tasso medio di errore del 17,5%. Le due funzioni vengono eseguite all’interno dello stesso modello insieme al rilevamento della conclusione delle singole sequenze vocali.
Meta ha già integrato Muse Voice Transcribe all’interno di Meta AI e di Muse Code, il proprio sistema AI dedicato alla programmazione. L’integrazione permette di impartire istruzioni vocali e di collegarle alle diverse operazioni in esecuzione sullo schermo, consentendo quindi di utilizzare la voce come ulteriore modalità di controllo durante le attività assistite dall’intelligenza artificiale. Il modello viene inoltre distribuito attraverso la Meta Model API ed è disponibile all’interno della versione di Meta AI per macOS.
Muse Voice Transcribe si inserisce nell’espansione della famiglia di modelli Muse sviluppata da Meta. La società ha recentemente ampliato anche la linea Muse Spark e sta lavorando a una piattaforma di agenti AI destinata agli utenti finali. Il progetto precedentemente conosciuto internamente con il nome in codice “Hatch” dovrebbe essere distribuito con il nome Muse e Meta prevede di attivare una lista d’attesa per consentire l’accesso progressivo al servizio.
A differenza di altri modelli AI distribuiti da Meta con modalità aperte, Muse Voice Transcribe non verrà però pubblicato insieme ai relativi pesi. Per questo sistema l’azienda ha scelto una distribuzione principalmente attraverso prodotti commerciali e API, mantenendo quindi sotto il proprio controllo il modello utilizzato per il riconoscimento vocale e l’elaborazione audio in tempo reale. La strategia separa in questo caso l’espansione dei modelli open source di Meta dallo sviluppo delle tecnologie audio destinate a essere integrate direttamente nei propri servizi.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)