Mistral AI ha presentato Voxtral 3, una nuova famiglia di modelli dedicati all’elaborazione del linguaggio parlato e alla costruzione di agenti vocali capaci di gestire conversazioni in tempo reale. L’offerta comprende tre modelli speech-to-text, un modello text-to-speech e un software development kit che permette di integrare riconoscimento vocale, ragionamento, chiamate agli strumenti e generazione della risposta all’interno di una pipeline applicativa. Tutti i componenti sono disponibili in anteprima pubblica attraverso le API Mistral. La piattaforma è stata sviluppata per applicazioni che richiedono interazioni vocali multilingue, come sistemi di assistenza ai clienti, servizi conversazionali e procedure aziendali automatizzate mediante comandi pronunciati. L’architettura separa le funzioni di trascrizione e sintesi, ma fornisce agli sviluppatori gli strumenti necessari per collegarle in un flusso operativo unico, nel quale un agente può ricevere una richiesta vocale, interpretarla, utilizzare strumenti esterni e formulare una risposta parlata.
La famiglia dedicata al riconoscimento comprende Voxtral Small Transcribe 3, Voxtral Mini Transcribe 3 e Voxtral Mini Transcribe Realtime 3. Il primo rappresenta il modello principale per la trascrizione multilingue e supporta la diarizzazione, ossia il riconoscimento dei differenti parlanti all’interno di una registrazione, oltre a funzionalità di adattamento al contesto. Voxtral Mini Transcribe 3 utilizza un’architettura più leggera da quattro miliardi di parametri, destinata alle applicazioni nelle quali il costo di elaborazione e la velocità rivestono un ruolo prioritario. La variante Realtime 3 è stata invece ottimizzata per la trascrizione in streaming, consentendo di elaborare il parlato durante la conversazione. Tutti e tre i modelli supportano la diarizzazione e il context biasing, una funzionalità che permette di fornire anticipatamente nomi propri, termini specialistici o espressioni rilevanti per aumentare la probabilità che vengano riconosciuti correttamente. La trascrizione batch è disponibile in oltre 50 lingue, mentre la variante in streaming integra meccanismi per riconoscere il termine di un intervento vocale e ridurre le attese prima della risposta dell’agente.
Le valutazioni pubblicate indicano per Voxtral Small Transcribe 3 un word error rate del 2,1% nel benchmark non in tempo reale di Artificial Analysis, dove il modello ha raggiunto la terza posizione. Voxtral Mini Transcribe 3 ha registrato un valore del 2,2%, mostrando un livello di accuratezza molto vicino a quello della variante principale. Il word error rate misura gli errori di riconoscimento rispetto al numero complessivo di parole presenti nel testo di riferimento, pertanto valori inferiori corrispondono a una migliore precisione. La trascrizione in streaming presenta invece un compromesso fra velocità di risposta e accuratezza. Nel benchmark FLEURS 35, la configurazione con 240 millisecondi di latenza ha registrato un tasso di errore del 7,4%, mentre aumentando la latenza a 2.400 millisecondi il valore è sceso al 5,7%. La scelta della configurazione dipende quindi dalle caratteristiche dell’applicazione: un sistema destinato a conversazioni rapide può privilegiare la reattività, mentre un servizio di trascrizione nel quale la precisione assume maggiore importanza può utilizzare una finestra temporale più ampia.
Il modello dedicato alla sintesi, Voxtral Speech 3, supporta oltre 35 lingue e più di 50 varianti dialettali. Il sistema è stato progettato per produrre una voce naturale, modulando intonazione, ritmo, enfasi ed espressività in relazione alle caratteristiche della conversazione. Gli sviluppatori possono anche specificare direttamente alcuni attributi mediante tag testuali, indicando per esempio una determinata emozione oppure una velocità di pronuncia. L’interfaccia permette così di adattare la risposta a differenti situazioni comunicative senza dover sostituire il modello. Mistral ha introdotto inoltre Pro Voice, una funzionalità di adattamento vocale che utilizza fino a 30 minuti di registrazioni per riprodurre le caratteristiche del timbro e dello stile espressivo di un parlante. La stessa identità vocale può essere mantenuta nelle differenti lingue supportate, consentendo di costruire assistenti multilingue che conservano una voce riconoscibile durante il passaggio da un idioma all’altro.
Voxtral Speech 3 presenta un tempo dichiarato di avvio della generazione audio pari a circa 90 millisecondi, caratteristica rilevante per ridurre il ritardo percepito nelle conversazioni vocali. Il costo del servizio è fissato a 13 dollari per milione di caratteri elaborati, mentre per la trascrizione sono previste tariffe differenziate in funzione del modello. Voxtral Mini Transcribe 3 costa 0,0035 dollari al minuto, Voxtral Small Transcribe 3 0,004 dollari e la variante Realtime 3 0,008 dollari al minuto. La struttura tariffaria permette di distinguere i servizi ad alto volume, per i quali è possibile privilegiare l’efficienza economica, dalle applicazioni che richiedono una trascrizione in tempo reale. Con il rilascio congiunto dei modelli e degli strumenti di sviluppo, Mistral mette a disposizione un insieme di componenti attraverso il quale realizzare applicazioni vocali complete, mantenendo separate le scelte relative alla precisione del riconoscimento, alla latenza, alla qualità della sintesi e ai costi di esecuzione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)