Una parte significativa delle risposte errate prodotte dai grandi modelli linguistici potrebbe non dipendere dall’assenza delle informazioni necessarie nei parametri del modello, ma dalla difficoltà nel recuperarle correttamente quando vengono formulate determinate domande. Una ricerca condotta da Google Research e dal Technion – Israel Institute of Technology ha analizzato questo fenomeno distinguendo tra conoscenze effettivamente non acquisite durante l’addestramento e informazioni che risultano invece presenti nel modello ma non vengono richiamate al momento della generazione della risposta. I risultati mostrano che nei modelli più avanzati il secondo problema può rappresentare una quota rilevante degli errori fattuali.
Per misurare questo comportamento, i ricercatori hanno introdotto un metodo denominato “knowledge profiling”, utilizzato per determinare in quale stato si trovi una determinata informazione all’interno di un modello. Il lavoro ha portato alla realizzazione del benchmark WikiProfile, costruito a partire da 2.150 fatti ricavati da Wikipedia. Ogni informazione è stata sottoposta ai modelli attraverso differenti modalità, verificando la capacità di riprodurla in un contesto simile a quello originale, di rispondere quando la stessa conoscenza veniva richiesta attraverso formulazioni differenti e di riconoscere la risposta corretta all’interno di domande a scelta multipla.
L’esperimento ha coinvolto 13 modelli linguistici e complessivamente circa 4,5 milioni di risposte. L’analisi ha evidenziato che la conoscenza contenuta in un LLM non può essere rappresentata semplicemente come una distinzione tra informazioni conosciute e informazioni sconosciute. I ricercatori hanno quindi individuato cinque differenti profili. Nel caso del “direct recall”, il modello riesce a recuperare immediatamente il fatto senza ricorrere a un processo di ragionamento aggiuntivo. L’“encoding failure” indica invece che l’informazione non risulta effettivamente memorizzata nei parametri. Il “recall failure” descrive la situazione nella quale il dato è presente ma il modello non riesce comunque a recuperarlo, neppure attraverso ulteriori passaggi di ragionamento.
Una quarta categoria, definita “recall with thinking”, comprende le informazioni già presenti nei parametri che diventano accessibili soltanto quando viene attivato un processo di ragionamento supplementare. L’ultima condizione, denominata “inference without encoding”, si verifica invece quando il fatto specifico non risulta memorizzato direttamente, ma il modello riesce comunque a ricostruire la risposta combinando altre conoscenze disponibili. Questa classificazione permette quindi di separare errori che esteriormente possono sembrare identici, ma che derivano da meccanismi interni profondamente differenti.
I risultati ottenuti sui modelli frontier sono particolarmente significativi. GPT-5 e Gemini 3 Pro hanno mostrato di avere codificato nei propri parametri circa il 95-98% dei fatti utilizzati nel test. I casi nei quali l’informazione risultava completamente assente erano quindi relativamente limitati. Nonostante questa elevata capacità di memorizzazione, i due modelli non sono riusciti a richiamare direttamente, senza un passaggio aggiuntivo di ragionamento, circa il 25-33% delle conoscenze che risultavano effettivamente presenti al loro interno.
L’aumento delle dimensioni del modello non sembra inoltre eliminare automaticamente il problema. Il comportamento è stato verificato anche confrontando differenti versioni di Gemma 3. Portando il modello da circa 1 miliardo a 27 miliardi di parametri, la quantità di informazioni codificate è aumentata sensibilmente, ma parallelamente è cresciuta anche la percentuale di conoscenze memorizzate che non venivano recuperate correttamente. L’aumento della capacità parametrica consente quindi di conservare una quantità maggiore di informazioni, senza garantire che il modello sviluppi nella stessa proporzione una maggiore capacità di accedervi durante l’inferenza.
Le difficoltà di recupero risultano particolarmente evidenti quando vengono richieste informazioni rare oppure quando una relazione viene interrogata nella direzione opposta rispetto alla formulazione più comune. Un modello può, per esempio, sapere correttamente in quale locale gli Oasis tennero la loro prima esibizione, ma non riuscire a rispondere quando gli viene chiesto quale gruppo tenne il proprio primo concerto al Boardwalk Club. Se la stessa domanda viene trasformata in un quesito a scelta multipla, il modello può invece identificare correttamente la risposta. Un comportamento di questo tipo indica che l’informazione è disponibile nei parametri, ma la formulazione della domanda non consente al modello di raggiungerla attraverso il normale percorso di generazione.
L’impiego di una fase aggiuntiva di “thinking” ha modificato sensibilmente questi risultati. Introducendo ulteriore calcolo destinato al ragionamento, i ricercatori sono riusciti a recuperare circa il 40-65% delle conoscenze che inizialmente non erano state richiamate correttamente. L’effetto non riguarda soltanto problemi complessi che richiedono concatenazioni di più passaggi logici, ma compare anche nelle domande relative a singoli fatti. Il reasoning può quindi svolgere una funzione di recupero della memoria parametrica, facilitando l’accesso a informazioni che il modello possiede già invece di limitarsi a produrre nuove inferenze.
Questa distinzione modifica anche il modo in cui possono essere affrontate le allucinazioni nei sistemi basati su LLM. Quando una risposta errata deriva da una reale assenza di conoscenza, l’accesso a fonti esterne attraverso sistemi di retrieval augmented generation può fornire al modello le informazioni mancanti. Se invece il dato è già presente nei parametri e il problema riguarda soltanto il suo recupero, una ricerca esterna può risultare ridondante, introducendo ulteriori tempi di elaborazione e costi senza intervenire direttamente sulla causa dell’errore.
Prima di aggiungere automaticamente un sistema RAG o di utilizzare modelli con un numero sempre maggiore di parametri, diventa quindi importante stabilire se un determinato errore dipenda da un problema di encoding oppure da un problema di recall. Tecniche che consentono al modello di dedicare più calcolo alla risposta possono recuperare una quota consistente delle informazioni apparentemente mancanti. Anche meccanismi nei quali il sistema genera inizialmente una risposta e successivamente la verifica, oppure riformula internamente la domanda prima di rispondere, possono migliorare l’accesso alle conoscenze memorizzate senza richiedere necessariamente una consultazione di fonti esterne.
Il risultato mette in evidenza una caratteristica importante dell’architettura degli LLM più avanzati: l’aumento della quantità di conoscenza immagazzinata nei parametri non comporta automaticamente un miglioramento equivalente della capacità di recuperarla. Nei modelli frontier la disponibilità dell’informazione può quindi non rappresentare più l’unico limite principale. Una parte crescente del problema riguarda il modo in cui la conoscenza viene raggiunta e utilizzata durante l’inferenza, rendendo la gestione del processo di recall un elemento distinto dalla semplice capacità del modello di memorizzare nuovi dati.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)