Se osservi con attenzione una delle creazioni generate da un algoritmo di visione artificiale — un’immagine che “apprende” da dati analoghi a un modello umano — potresti accorgerti che, ogni tanto, l’algoritmo “vede” cose che non ci sono: un piccolo drago, un uccello che sbuca dal nulla, un oggetto fuori luogo. Sono le cosiddette allucinazioni dell’IA: elementi inventati che non rispondono alla realtà visuale richieste dall’utente.
Un recente studio proveniente dalla Cina propone un’idea sorprendente: esporsi alle proprie allucinazioni, renderle visibili in maniera esagerata, e poi far correggere l’algoritmo. Parrebbe una contraddizione: “mostro all’IA i suoi errori migliori, perché possa imparare a evitarli”. Eppure questa strategia—che non richiede retraining né enormi quantità di dati extra—si è rivelata sorprendentemente efficace.
Il procedimento, descritto nello studio intitolato Exposing Hallucinations to Suppress Them: VLMs Representation Editing With Generative Anchors, gioca su un’idea semplice ma potente: trasformare gli errori latenti in segnali visivi ben evidenti.
L’IA riceve un’immagine reale e la “descrive” con una didascalia testuale — come farebbe normalmente. In questo passaggio, è possibile che inserisca elementi immaginari (le allucinazioni).
La didascalia generata viene usata come prompt per un modello text-to-image, che costruisce un’immagine “ricostruita” basata su ciò che la didascalia dice. Se nella descrizione erano comparsi oggetti inesistenti, questi verranno visualizzati nella ricostruzione. In questa fase, quindi, le allucinazioni vengono “amplificate” e rese visivamente evidenti.
Si estraggono embedding (rappresentazioni interne compatte) sia dall’immagine originale che da quella ricostruita. Confrontando queste rappresentazioni, il sistema capisce quali direzioni “internamente” hanno condotto all’introduzione di errori, e può modulare il processo di generazione futuro in modo da penalizzarle.
In sostanza, quando l’algoritmo affronta una nuova immagine, viene “guidato” internamente a evitare pattern associati alle precedenti allucinazioni, riducendo così la probabilità che ne emerga una nuova.
La bellezza di questo approccio sta nel fatto che non serve ripetere l’addestramento: è un meccanismo che agisce “al volo”, inserendosi dentro il processo di generazione, senza bisogno di dati extra per la correzione.
Per capire perché un’IA “immagini” elementi che non dovrebbero esserci, è utile parlare di entanglement, ossia di correlazioni indebite che un modello apprende tra concetti che, nei dati, compaiono spesso insieme. Ad esempio: in moltissime immagini potresti vedere un aeroplano e un uccello nello stesso cielo, e il modello finisce con l’associare il concetto “volo” con “uccello”, anche quando non ci sono uccelli. Nel generare una didascalia da un’immagine di un aereo, il modello può dunque “decidere” che un uccello ci stia bene—anche se non c’è.
Un’altra causa è legata alla qualità dei dati su cui l’IA è stata addestrata: molte immagini nel dataset hanno didascalie superficiali, generiche, oppure ottimizzate per il SEO (cioè frasi non precise ma “buone per i motori di ricerca”). Ciò impedisce all’IA di associare correttamente ogni oggetto visivo a un’etichetta distinta e “pulita”.
Poiché riprogettare da zero il modello o avere dataset perfetti è spesso impraticabile — per questioni di dimensione, costo, tempo — si tende a ricorrere a stratagemmi ibridi come quello qui descritto.
Gli autori notano anche che, pur non essendo privo di costi (in termini di latenze maggiori o carico computazionale interno dovuto al confronto tra embedding), l’approccio offre un buon compromesso “senza dover reinventare tutto”.
In pratica, è un espediente creativo, un’idea fresca nel panorama della lotta alle allucinazioni visuali delle AI. Potrebbe non eliminare mai completamente il problema — forse non lo farà nessuna tecnica — ma alza la soglia: rende più difficile all’IA “ingannarsi” e più facile per noi individuarne gli errori.