Un nuovo studio condotto da ricercatori del Santa Monica College e della University of Southern California ha confrontato in modo sistematico gli effetti degli input vocali e di quelli digitati sulle prestazioni dei modelli linguistici. I risultati mostrano che, nelle condizioni analizzate, parlare a un modello produce una perdita di accuratezza maggiore rispetto alla scrittura, anche quando il testo digitato contiene errori comuni come lettere invertite, caratteri duplicati, spazi mancanti o pressioni accidentali dei tasti vicini. Il problema non deriva principalmente dalla presenza nel parlato di intercalari come “um” o “like”, ma dalle trasformazioni applicate durante la trascrizione: sistemi di dettatura e componenti AI tendono infatti a ripulire, comprimere e ristrutturare ciò che l’utente ha detto prima che il testo raggiunga effettivamente il modello, modificando in alcuni casi relazioni tra informazioni che risultano essenziali per costruire la risposta corretta.
Per misurare il fenomeno i ricercatori hanno sviluppato HIVE, Human Input-Variation Engine, una suite che simula differenti modalità con cui una richiesta può arrivare a un modello. Il sistema considera tre percorsi principali: input vocale, digitazione mediante tastiera QWERTY e copia diretta del prompt originale, utilizzata come riferimento non alterato. Sono stati inoltre introdotti due controlli sperimentali, basati rispettivamente sulla modifica dell’ordine tra domanda e contesto e sulla permutazione delle opzioni nelle domande a scelta multipla. Le perturbazioni della tastiera vengono generate attraverso regole deterministiche, mentre quelle vocali combinano regole definite e trasformazioni few-shot effettuate con Qwen2.5-7B, in modo da riprodurre sia le imperfezioni tipiche della trascrizione sia gli interventi di riscrittura effettuati dagli strumenti di dettatura basati su AI.
Gli esperimenti hanno coinvolto Llama 3.1 8B, Qwen2.5 7B, Qwen3 8B, Mistral 7B v0.3 e Phi-4, utilizzando cinque seed differenti. I modelli sono stati valutati sui benchmark GSM8K, GSM-Symbolic, GSM1K, HumanEval, MMLU-Pro STEM e TruthfulQA MC1. Per ciascun benchmark sono stati utilizzati 200 elementi, con l’eccezione di HumanEval, impiegato nella sua interezza con 164 problemi. La generazione è stata effettuata attraverso greedy decoding, così da confrontare direttamente ogni versione perturbata del prompt con il corrispondente input originale all’interno della stessa configurazione del modello. Complessivamente lo studio ha prodotto circa 550.000 risposte valutate, considerando 17 differenti trasformazioni del prompt e due condizioni di controllo.
Il risultato più netto riguarda la differenza tra i due canali di input: nelle principali condizioni sperimentali le trasformazioni associate al parlato hanno ridotto l’accuratezza di circa tre volte più degli errori da tastiera. Gli effetti peggiori sono stati registrati quando il contenuto pronunciato veniva automaticamente riformulato per renderlo più breve, pulito e linguisticamente ordinato. La rimozione dei semplici intercalari non è risultata sufficiente a recuperare le prestazioni, indicando che la perdita più importante avviene quando la struttura originaria della richiesta viene modificata. Gli autori riconducono infatti gran parte del deterioramento alla quantità di token originali che sopravvive alla trasformazione: introdurre rumore aggiuntivo è relativamente poco dannoso finché il contenuto originario rimane riconoscibile, mentre eliminare o sostituire parti della formulazione può modificare il significato operativo del prompt.
Gli errori di digitazione risultano quindi relativamente tollerabili perché spesso danneggiano soltanto la superficie ortografica del testo. Una lettera trasposta, un carattere duplicato o uno spazio mancante lasciano generalmente al modello abbastanza contesto per ricostruire la parola e il rapporto con il resto della domanda. Una trascrizione vocale rielaborata può invece sostituire intere formulazioni, accorciare una frase o cambiare la relazione tra i suoi elementi. In uno degli esempi riportati nello studio, l’espressione relativa a una persona che distribuiva ai propri figli una quantità uguale di libri è stata reinterpretata in modo tale che il termine “amount” venisse collegato al denaro anziché ai libri. La frase risultava grammaticalmente più pulita, ma aveva perso il referente necessario per risolvere correttamente il problema.
La differenza tra voce e tastiera emerge soprattutto nei compiti nei quali il modello deve costruire o dedurre autonomamente la risposta. Problemi aritmetici e generazione di codice sono particolarmente sensibili alle alterazioni, perché dipendono dalla conservazione precisa delle relazioni tra quantità, condizioni e vincoli presenti nella richiesta. Nei test a scelta multipla, invece, il divario tra input scritto e parlato tende a ridursi sensibilmente perché una parte dell’informazione utile è già contenuta nelle risposte disponibili. Lo studio rileva inoltre che il fenomeno non può essere spiegato semplicemente dalla contaminazione dei benchmark con dati eventualmente incontrati durante l’addestramento.
I ricercatori hanno valutato anche se il problema potesse essere compensato attraverso adattamenti relativamente leggeri del modello. I risultati indicano che questo tipo di intervento non elimina il deterioramento prodotto dalle trasformazioni vocali. Anche l’aumento del thinking budget presenta un comportamento differente tra i due canali: una maggiore quantità di elaborazione riesce a recuperare quasi completamente gli effetti degli errori da tastiera, mentre non produce un recupero analogo per il parlato e può rendere ancora peggiori le trascrizioni vocali fortemente compresse. Il limite si trova quindi a monte del reasoning: se durante la trascrizione vengono eliminate o alterate informazioni essenziali, concedere al modello più capacità di ragionamento non consente necessariamente di ricostruire il contenuto originario.
Il problema riguarda direttamente le interfacce AI attuali perché l’input vocale viene ormai utilizzato non soltanto dagli assistenti consumer, ma anche da coding agent e strumenti professionali. Claude Code e Codex possono ricevere istruzioni dettate, gli assistenti vocali inoltrano richieste a backend basati su modelli linguistici e applicazioni di dettatura introducono spesso un ulteriore livello AI incaricato di correggere e riformattare il testo prima dell’invio. In queste configurazioni il modello non riceve direttamente la voce dell’utente, ma il risultato finale della pipeline di trascrizione e riscrittura; se l’utente non controlla il testo generato, eventuali modifiche semantiche diventano quindi parte effettiva del prompt utilizzato dal sistema.
Le indicazioni operative dello studio riguardano soprattutto la progettazione dei sistemi di dettatura destinati agli LLM. Gli autori suggeriscono di limitare gli interventi sul parlato alla rimozione minima delle disfluenze, evitando di riformattare o ristrutturare automaticamente la richiesta e trattando con cautela anche la correzione degli omofoni. La riscrittura eseguita dal livello di dettatura è infatti risultata la componente più dannosa tra quelle misurate e, contemporaneamente, una delle più semplici da modificare a livello di progettazione. Per richieste brevi e semplici l’interazione vocale può continuare a funzionare efficacemente, mentre nei compiti che richiedono codice, calcoli o il rispetto preciso di numerosi vincoli lo studio mostra che la conservazione letterale della struttura originaria della richiesta rimane determinante per l’accuratezza della risposta.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)