IBM ha rilasciato Granite Speech 5.0 TurboCTC, una nuova generazione di modelli per il riconoscimento automatico del parlato progettata per privilegiare velocità di trascrizione, accuratezza e possibilità di esecuzione su dispositivi edge. La famiglia comprende granite-speech-5.0-470m-turboctc, distribuito con licenza Apache 2.0 e utilizzabile commercialmente, e granite-speech-5.0-470m-turboctc-nc, variante non commerciale rilasciata con licenza CC-BY-NC-SA-4.0. Entrambi contano 470 milioni di parametri, supportano attualmente l’inglese e, secondo i test IBM, superano i 12.600 RTFx su una singola GPU NVIDIA H200 durante l’inferenza batch, equivalenti alla trascrizione di oltre 3,5 ore di parlato in un secondo. Il valore RTFx esprime quante volte il sistema riesce a elaborare l’audio più velocemente della sua durata reale.
La principale differenza rispetto alle precedenti generazioni Granite Speech riguarda l’architettura. I modelli 3.3 e 4.x combinavano un encoder acustico Conformer con un proiettore e un modello linguistico Granite collegato attraverso adapter LoRA, generando il testo in maniera autoregressiva. Granite Speech 5.0 elimina completamente il language model e utilizza invece un’architettura encoder-only costituita da 16 blocchi Conformer, addestrata con Connectionist Temporal Classification. La trascrizione viene quindi prodotta direttamente a partire dalle rappresentazioni acustiche attraverso decoding greedy non autoregressivo, evitando la generazione token per token tipica degli LLM. Questa scelta riduce il numero di parametri, il consumo di memoria e soprattutto la latenza, portando secondo IBM a un throughput superiore di oltre 20 volte rispetto ai precedenti modelli Granite Speech.
L’encoder utilizza una dimensione nascosta di 1.024, otto attention head da 128 dimensioni ciascuna, blocchi di attenzione da 128 frame e kernel convoluzionali di dimensione 7. L’attenzione viene eseguita a blocchi per evitare la crescita quadratica dei costi computazionali con l’aumentare della lunghezza della sequenza, mentre una forma di self-conditioned CTC viene applicata all’uscita dell’ottavo blocco Conformer. La classificazione finale utilizza un vocabolario da 16.384 unità subword. La variante Apache 2.0 adotta tokenizzazione BPE, mentre quella non commerciale utilizza SentencePiece; in entrambi i casi i tokenizer sono stati addestrati direttamente sulle trascrizioni del parlato.
Un altro elemento determinante per il throughput è la riduzione temporale applicata alle rappresentazioni acustiche. Il front-end genera inizialmente spettrogrammi log-Mel a 100 frame al secondo, ma Granite Speech 5.0 applica tre stadi successivi di subsampling 2x, riducendo il flusso fino a 12,5 token al secondo. Il primo stadio combina feature log-Mel consecutive tramite reshape, mentre il secondo e il terzo sono integrati nei primi due blocchi Conformer e utilizzano convoluzioni strided insieme a residual temporaneamente sottocampionati. Le generazioni precedenti producevano circa 50 caratteri al secondo: Granite Speech 5.0 lavora quindi a un quarto di quel rate, utilizzando al contempo unità subword più lunghe al posto dei singoli caratteri.
La riduzione dell’architettura comporta però una specializzazione più marcata. L’eliminazione del language model consente una trascrizione molto più rapida, ma rimuove alcune capacità presenti nei precedenti Granite Speech, tra cui la traduzione automatica del parlato e il keyword biasing utilizzato per favorire il riconoscimento di parole, nomi o termini specifici. Granite Speech 5.0 è quindi progettato principalmente per workload speech-to-text in cui throughput e latenza hanno priorità, comprese applicazioni enterprise, sistemi di trascrizione ad alto volume e deployment su laptop, smartphone e altri dispositivi edge.
La versione Apache 2.0 è stata addestrata su circa 60.000 ore di audio inglese proveniente interamente da dataset pubblici e dati sintetici. Il corpus naturale comprende circa 44.600 ore di Multilingual LibriSpeech, 8.900 ore di YODAS, 2.500 ore di Common Voice 17, 960 ore di LibriSpeech, 500 ore di VoxPopuli, 150 ore di AMI e 100 ore di Earnings-22. A questi dati IBM ha aggiunto circa 2.740 ore sintetiche, delle quali 2.000 ottenute concatenando segmenti appartenenti a singoli speaker provenienti dai principali dataset, altre 500 generate nello stesso modo a partire da Earnings-22 e 240 ore dedicate a contenuti particolarmente problematici per i sistemi ASR, come numeri, valute, indirizzi web, numeri telefonici, indirizzi postali e valori contenenti punti o decimali.
Le 240 ore sintetiche dedicate a questi casi sono state costruite generando le frasi con i modelli open-weight gpt-oss-120b e gpt-oss-20b e trasformandole successivamente in audio tramite StyleTTS2. La variante granite-speech-5.0-470m-turboctc-nc utilizza inoltre circa 10.000 ore di GigaSpeech e 4.900 ore di SPGI Speech, portando il corpus complessivo vicino alle 75.000 ore. È proprio l’inclusione di questi dataset aggiuntivi a determinare la diversa licenza della versione NC e a darle un leggero vantaggio di accuratezza nella maggior parte dei benchmark.
Sui dataset pubblici inglesi short-form dell’OpenASR Leaderboard, IBM riporta un Word Error Rate aggregato del 5,00% per la versione Apache 2.0 e del 4,85% per la versione non commerciale. Quest’ultima risulta generalmente leggermente più accurata, con un vantaggio più evidente sul dataset SPGI Speech, mentre registra un risultato peggiore sul nuovo test Earnings22 suddiviso in chunk. I test di throughput superano in entrambi i casi i 12.600 RTFx su NVIDIA H200. IBM ha eseguito le valutazioni attraverso l’infrastruttura di Hugging Face utilizzando gli strumenti impiegati dalla relativa leaderboard.
I modelli sono stati valutati anche sull’FFASR Leaderboard, dedicato al riconoscimento del parlato far-field in condizioni più difficili, comprendenti rumore, riverbero, sorgenti sonore in movimento e differenti rapporti segnale-rumore. Al 25 agosto 2026 la variante non commerciale occupava il quinto posto per accuratezza e quella Apache il nono, mentre entrambe risultavano i due modelli più veloci della classifica. In questo caso il throughput è stato misurato su una singola GPU NVIDIA L4, una configurazione più vicina a scenari di inferenza meno estremi rispetto alla H200 utilizzata per il valore massimo di 12.600 RTFx.
L’addestramento di Granite Speech 5.0 TurboCTC è stato eseguito sul supercomputer IBM Blue Vela e ha richiesto dieci giorni utilizzando otto GPU NVIDIA H100. Il modello è supportato nativamente dalla libreria Transformers attraverso AutoModelForCTC e AutoProcessor ed è già disponibile nella raccolta Granite Speech su Hugging Face. IBM ha inoltre pubblicato una demo WebGPU per il riconoscimento vocale in streaming eseguibile direttamente nei browser Chrome ed Edge, mostrando l’utilizzo dell’architettura anche in scenari locali in cui l’audio viene elaborato senza dipendere necessariamente da una GPU datacenter.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)