Un gruppo di ricerca del Korea Advanced Institute of Science and Technology ha sviluppato due tecniche per rendere più affidabili i modelli linguistici multimodali che elaborano contemporaneamente immagini, audio e dati provenienti da sensori. Il lavoro, coordinato dal professor Yong Man Ro della School of Electrical Engineering, interviene su due problemi differenti: la difficoltà dei modelli nel comprendere il significato fisico dei dati raccolti da dispositivi diversi e la tendenza a confondere le informazioni appartenenti a modalità sensoriali separate.
La prima tecnologia, indicata come DNA, è stata progettata per aiutare l’intelligenza artificiale a interpretare correttamente dati come immagini termiche, mappe di profondità e radiografie. Queste rappresentazioni non seguono necessariamente le stesse regole delle fotografie tradizionali: in un’immagine termica, per esempio, una zona più chiara può indicare una temperatura superiore e non una maggiore quantità di luce visibile. Il metodo concentra l’ottimizzazione sui casi nei quali il modello commette più frequentemente errori, migliorando la capacità di collegare le caratteristiche dell’immagine al fenomeno fisico misurato dal sensore.
La seconda tecnica, denominata MAD, affronta invece le allucinazioni causate dall’interferenza tra modalità differenti. Un modello audiovisivo può affermare di sentire il rumore di un motore soltanto perché nel filmato compare un’automobile, anche quando la traccia audio non contiene quel suono. MAD induce il sistema a stabilire, prima di generare la risposta, quali modalità siano effettivamente necessarie per il compito e ad assegnare un peso maggiore alle informazioni pertinenti, limitando l’influenza di quelle non richieste.
Il metodo utilizza la capacità del modello di valutare autonomamente la rilevanza di immagini e audio. Le probabilità assegnate alle singole modalità vengono impiegate per regolare differenti rami di decodifica, in modo che la risposta venga costruita principalmente a partire dalla fonte sensoriale corretta. Nei test condotti su diversi modelli audiovisivi, MAD ha ridotto le allucinazioni cross-modali con miglioramenti compresi tra il 2 e l’8,7% nei benchmark CMM e AVHBench. La ricerca è stata accettata alla conferenza CVPR 2026.
Entrambe le tecniche sono state concepite per essere integrate senza dover ripetere da zero l’addestramento di un grande modello multimodale. In particolare, MAD opera durante la fase di decodifica e non richiede un nuovo addestramento, mentre DNA concentra l’apprendimento sugli esempi più problematici per correggere la comprensione dei singoli sensori. Questa impostazione ne facilita l’applicazione a sistemi già esistenti e riduce la quantità di dati e risorse necessarie per migliorarne l’affidabilità.
Le possibili applicazioni comprendono i veicoli autonomi che devono riconoscere pedoni e ostacoli di notte o nella nebbia, i robot impegnati nella ricerca di persone in ambienti pieni di fumo, i droni dotati di termocamere e i sistemi medici che analizzano immagini ottenute mediante radiografie, tomografie computerizzate o risonanze magnetiche. In questi contesti, confondere il significato di un sensore o attribuire a una modalità informazioni presenti soltanto in un’altra può produrre errori rilevanti nelle decisioni del sistema.
Il lavoro punta quindi a migliorare non soltanto l’accuratezza generale dei modelli multimodali, ma soprattutto la corrispondenza tra una risposta e la fonte sensoriale sulla quale dovrebbe essere basata. La capacità di distinguere ciò che il sistema vede da ciò che realmente sente o misura rappresenta un requisito essenziale per utilizzare questi modelli in applicazioni fisiche, industriali e sanitarie.