xAI ha rilasciato Grok Voice Transcribe 2.0, nuova versione del proprio modello speech-to-text progettato per la trascrizione di audio registrato e flussi vocali in tempo reale. Il modello utilizza la stessa base audio sviluppata per Grok Voice ed è stato addestrato su registrazioni dal vivo caratterizzate da rumore, presenza di più lingue e condizioni ambientali differenti, alle quali è stata aggiunta una fase di post-training. xAI dichiara una precisione circa doppia rispetto a Grok Voice Transcribe 1.0 mantenendo invariato il prezzo del servizio. La tecnologia sottostante a Grok Voice viene già utilizzata, secondo l’azienda, per decine di migliaia di chiamate di assistenza clienti ogni giorno, per la trascrizione di milioni di ore di narrazione video e per agenti vocali incorporati in prodotti fisici, compreso l’assistente Grok disponibile sui veicoli Tesla.
Le valutazioni pubblicate da xAI sono concentrate soprattutto sulle condizioni audio più difficili da gestire per un sistema di riconoscimento vocale, come linee telefoniche a bassa qualità, conversazioni con più persone, accenti differenti, indirizzi email, numeri telefonici e codici pronunciati verbalmente. Grok Voice Transcribe 2.0 risulta al primo posto per accuratezza tra 32 modelli streaming nella classifica pubblica di Artificial Analysis. Parallelamente xAI utilizza quattro gruppi di test interni ricavati dal traffico di produzione, comprendenti audio telefonico proveniente da chiamate di customer support, conversazioni con Grok, credenziali pronunciate come codici account e indirizzi email e brevi comandi vocali multilingue. Il nuovo modello migliora rispetto alla versione 1.0 in tutti e quattro gli insiemi di valutazione e, nei test telefonici effettuati su chiamate di assistenza clienti in inglese campionate a 8 kHz, xAI dichiara risultati superiori a quelli degli altri sistemi confrontati. Nei grafici dell’azienda vengono utilizzati come riferimenti Gemini 3.5 Transcribe, MAI-Transcribe-2, ElevenLabs Scribe v2, Deepgram Nova-3 e Whisper Large v3.
Il miglioramento più consistente riguarda la trascrizione multilingue. Grok Voice Transcribe 2.0 supporta decine di lingue, identifica automaticamente quella utilizzata e può seguire cambi di lingua che avvengono nel corso della stessa registrazione senza richiedere elaborazioni separate. Questo aspetto viene valutato anche attraverso un insieme di brevi comandi destinati agli assistenti vocali, una situazione particolarmente complessa perché poche parole forniscono al modello un contesto limitato per riconoscere correttamente la lingua. Nei test condotti da xAI su frasi brevi in 19 lingue, il Word Error Rate passa dal 20,6% della versione precedente al 6,8% di Grok Voice Transcribe 2.0.
Il modello è disponibile attraverso la Speech-to-Text API di xAI sia per elaborazioni batch sia per applicazioni streaming. Nel primo caso possono essere inviati file audio già registrati oppure URL dai quali il servizio recupera direttamente il contenuto da trascrivere, mentre la modalità streaming consente di elaborare il segnale mentre viene prodotto. Tra le funzionalità disponibili figurano timestamp a livello di singola parola accompagnati da confidence score, diarizzazione automatica per distinguere i diversi speaker, trascrizione multicanale fino a otto canali e key term biasing, che permette di indicare fino a 100 termini specifici per richiesta in modo da favorirne il riconoscimento in contesti tecnici o specialistici. Sono inoltre previste la formattazione automatica di numeri, date, valute, numeri telefonici e indirizzi email, la rimozione delle filler word e una funzione di smart turn detection destinata agli agenti vocali, capace di riconoscere quando un interlocutore ha terminato il proprio turno di parola. Le integrazioni già basate sulla Speech-to-Text API possono utilizzare il miglioramento di accuratezza senza modificare il codice esistente.
La documentazione tecnica indica il supporto per 12 formati audio e file con dimensione massima di 500 MB, con frequenze di campionamento pari a 8.000, 16.000, 22.050, 24.000, 44.100 e 48.000 Hz. Attraverso il parametro dedicato alla lingua è disponibile la formattazione in forma scritta per 25 lingue, tra cui inglese, spagnolo, francese, tedesco, hindi, giapponese e coreano. Nelle richieste batch l’API utilizza multipart/form-data e richiede alternativamente il caricamento di un file oppure l’indicazione di un URL. La risposta comprende la trascrizione completa, la lingua rilevata rappresentata tramite codice BCP-47, la durata dell’audio espressa in secondi e i segmenti relativi alle singole parole con i rispettivi tempi di inizio e fine.
Per la modalità in tempo reale i client inviano invece audio grezzo sotto forma di frame binari attraverso l’endpoint WebSocket della Speech-to-Text API e ricevono eventi JSON con la trascrizione progressivamente generata durante l’elaborazione. È possibile richiedere anche risultati intermedi, prodotti approssimativamente ogni 500 millisecondi, caratteristica pensata soprattutto per applicazioni conversazionali nelle quali la risposta del sistema deve essere costruita mentre l’utente sta ancora interagendo con il servizio. Grok Voice Transcribe 2.0 può essere selezionato sia attraverso gli endpoint REST sia attraverso quelli WebSocket.
Tra le prime implementazioni su larga scala figura Loom. Atlassian ha confrontato Grok Voice Transcribe 2.0 con la soluzione di trascrizione precedentemente utilizzata dalla piattaforma e, dopo aver rilevato una maggiore accuratezza, ha adottato il modello per trascrivere tutti i video pubblicati attraverso Loom. Le trascrizioni possono essere inserite anche in workflow che collegano Loom a strumenti di sviluppo come Cursor, permettendo di trasformare indicazioni e spiegazioni registrate in video in informazioni direttamente utilizzabili nei processi di programmazione.
Il prezzo rimane quello applicato alla versione precedente: la trascrizione batch costa 0,10 dollari per ogni ora di audio, mentre quella streaming costa 0,20 dollari all’ora. Diarizzazione, timestamp e gestione dei key term sono inclusi senza sovrapprezzo. Grok Voice Transcribe 2.0 è già disponibile con l’identificativo grok-voice-transcribe-2.0, mentre al momento la documentazione mantiene grok-voice-transcribe-1.0 come modello utilizzato automaticamente quando il parametro relativo alla versione non viene specificato. xAI prevede però di rendere prossimamente la versione 2.0 il modello predefinito della Speech-to-Text API e di dismettere Grok Voice Transcribe 1.0 nelle settimane successive. Durante la fase di transizione chi vuole continuare a utilizzare il modello precedente può indicare esplicitamente grok-voice-transcribe-1.0 nelle proprie richieste API.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)