Uno dei principali limiti dei moderni modelli linguistici non è soltanto la possibilità di fornire risposte errate, ma la tendenza a presentarle con un livello di sicurezza che non riflette realmente il grado di affidabilità della risposta generata. Per affrontare questo problema, i ricercatori di Google Research hanno sviluppato il concetto di Faithful Uncertainty, un approccio progettato per migliorare il modo in cui i modelli di intelligenza artificiale comunicano la propria incertezza agli utenti. L’obiettivo non è eliminare completamente gli errori, ma fare in modo che il sistema sia in grado di riconoscere quando dispone di informazioni limitate e adattare di conseguenza il linguaggio utilizzato nelle risposte.
La ricerca parte da un’osservazione fondamentale: i large language model possiedono già segnali interni che indicano quanto siano sicuri di una determinata risposta. Durante la generazione del testo, infatti, il modello calcola distribuzioni di probabilità associate alle possibili sequenze linguistiche. Tuttavia queste informazioni interne raramente vengono comunicate in modo coerente all’utente finale. Di conseguenza il modello può formulare affermazioni categoriche anche quando il livello di confidenza statistica è relativamente basso.
Per misurare questo fenomeno, il team di ricerca ha introdotto una nuova metrica denominata Faithful Response Uncertainty. Il parametro valuta la distanza tra la fiducia interna del modello e il grado di sicurezza espresso nel linguaggio naturale. Un sistema viene considerato affidabile quando il tono della risposta rispecchia accuratamente il livello di confidenza calcolato dal modello stesso. Al contrario, viene penalizzato sia quando esprime eccessiva sicurezza in condizioni di incertezza sia quando si mostra troppo prudente pur disponendo di informazioni solide.
L’approccio rappresenta un cambiamento significativo rispetto alle tradizionali strategie di riduzione delle allucinazioni. Fino ad oggi gran parte della ricerca si è concentrata sul miglioramento della precisione fattuale attraverso dataset più estesi, tecniche di retrieval, fine-tuning specializzati e sistemi di verifica esterna. Il concetto di Faithful Uncertainty sposta invece l’attenzione sulla trasparenza epistemica del modello, cioè sulla sua capacità di comunicare correttamente ciò che sa e ciò che non sa.
Un modello addestrato secondo questi principi potrebbe rispondere in modo differente a seconda del livello di affidabilità delle informazioni disponibili. In presenza di dati robusti potrebbe fornire una risposta diretta e sicura, mentre in situazioni caratterizzate da informazioni incomplete, conoscenze limitate o conflitti tra possibili interpretazioni potrebbe utilizzare formulazioni che esplicitano il grado di incertezza. Questo comportamento consentirebbe agli utenti di valutare meglio l’affidabilità delle informazioni ricevute e di decidere quando sia opportuno effettuare verifiche aggiuntive.
I risultati dello studio mostrano che gli attuali modelli linguistici, compresi quelli sottoposti a tecniche avanzate di allineamento, presentano ancora difficoltà significative nel rappresentare fedelmente la propria incertezza. Secondo i ricercatori, le procedure di addestramento orientate a massimizzare utilità, fluidità e soddisfazione dell’utente tendono spesso a premiare risposte formulate in modo deciso e autorevole, anche quando il modello non dispone di informazioni sufficientemente affidabili. Questo contribuisce alla percezione di sicurezza che spesso accompagna contenuti inesatti o incompleti.
Le implicazioni sono particolarmente rilevanti per applicazioni professionali e ad alto impatto decisionale. Settori come ricerca scientifica, finanza, sanità, consulenza tecnica e pubblica amministrazione richiedono sistemi in grado non solo di generare informazioni corrette, ma anche di indicare chiaramente i limiti della propria conoscenza. In questi contesti, una risposta accompagnata da una stima affidabile dell’incertezza può risultare più utile e sicura rispetto a una risposta apparentemente definitiva ma potenzialmente errata.
La proposta di Google Research evidenzia quindi una possibile evoluzione dell’intelligenza artificiale generativa: passare da modelli che cercano sempre di fornire una risposta a sistemi capaci di esprimere in modo trasparente il proprio livello di conoscenza. Invece di concentrarsi esclusivamente sulla riduzione delle allucinazioni attraverso l’aumento delle informazioni disponibili, l’approccio Faithful Uncertainty punta a rendere l’intelligenza artificiale più affidabile insegnandole a riconoscere e comunicare correttamente i propri margini di dubbio.