Una modifica puramente grafica del testo, senza cambiare una sola parola, può modificare il modo in cui alcuni modelli vision-language interpretano il contenuto e arrivano alla risposta finale. Un gruppo di cinque ricercatori del National Institute of Advanced Industrial Science and Technology giapponese, dell’Università di Tsukuba, della University of Technology Nuremberg e dell’Università di Oxford ha analizzato questo comportamento nello studio Seeing Red, Thinking Bad: Color Bias in Vision Language Models, verificando separatamente gli effetti prodotti dal colore delle parole, dal contrasto del documento e dalla maggiore evidenza visiva attribuita a determinate porzioni del testo.
Il metodo sviluppato dai ricercatori prende il nome di Stealth Visual Prompts e consiste nell’utilizzare variazioni di formattazione apparentemente normali come segnali indiretti rivolti al modello. Non vengono aggiunte istruzioni nascoste né modificato il contenuto linguistico: una parola positiva o negativa può semplicemente essere visualizzata in un colore differente, oppure una risposta sbagliata può essere resa più evidente della risposta corretta aumentando il suo contrasto. In questo modo è possibile misurare quanto l’elaborazione visiva contribuisca alla rappresentazione semantica costruita dal modello prima della generazione della risposta.
Per isolare l’effetto della presentazione grafica, tutti i testi sono stati renderizzati su canvas standardizzati da 800 × 600 pixel utilizzando un layout fisso. I ricercatori hanno quindi modificato indipendentemente colore e contrasto, mantenendo invariati testo, posizione e contenuto informativo. Le manipolazioni cromatiche sono state utilizzate per studiare le associazioni semantiche apprese dai modelli, mentre le variazioni di contrasto hanno permesso di misurare l’effetto della salienza visiva, cioè della capacità di una porzione del documento di attirare maggiormente l’attenzione del sistema.
L’esperimento è stato organizzato intorno a tre raccolte di test. Il Short-sentence Sentiment Set comprende 100 brevi frasi costruite utilizzando template neutrali all’interno dei quali vengono inserite parole con significato positivo o negativo. Ogni frase è stata prodotta in 37 versioni grafiche differenti: una versione di riferimento con testo nero e altre combinazioni basate su sei colori, rosso, verde, blu, giallo, ciano e magenta, utilizzati con tre differenti livelli di intensità. Il confronto tra queste varianti permette di osservare se la classificazione del sentimento cambia semplicemente colorando le parole semanticamente rilevanti.
Il Long-sentence Sentiment Set utilizza invece testi più lunghi nei quali il linguaggio positivo e quello negativo vengono collocati in sezioni differenti del documento. Anche in questo caso sono state utilizzate le stesse 37 configurazioni cromatiche, ma l’obiettivo era confrontare l’effetto del colore con quello della posizione dell’informazione. Il test permette quindi di verificare se il modello tende ad attribuire maggiore peso alla parte iniziale del documento, secondo un effetto di primacy, oppure alla parte finale, secondo un effetto di recency, e quanto le variazioni cromatiche riescano eventualmente a modificare questa preferenza.
Il terzo insieme di dati, denominato VQA Stealth Set, è stato costruito a partire da coppie domanda-contesto provenienti da SQuAD e misura il comportamento dei modelli in attività di Visual Question Answering. In questo caso sono state create due condizioni differenti. Nel test Global Contrast l’intero documento viene progressivamente reso meno leggibile diminuendo il contrasto tra testo e sfondo. Nel test Saliency Competition, invece, viene mantenuta ad alto contrasto soltanto una parte specifica: in alcuni casi la risposta corretta, in altri una risposta errata ma semanticamente simile, selezionata utilizzando la similarità calcolata con CLIP. Tutto il resto del testo viene progressivamente attenuato, creando una competizione diretta tra l’evidenza linguistica contenuta nel documento e quella puramente visiva.
I test sono stati eseguiti su quattro modelli vision-language open source: LLaVA-v1.6-Mistral-7B, LLaVA-v1.6-Vicuna-7B, Qwen2-VL-7B-Instruct e IDEFICS2-8B. La scelta di modelli aperti ha consentito ai ricercatori di mantenere fissi prompt, impostazioni di rendering e modalità di decoding, rendendo riproducibili gli esperimenti. Per i test sul sentimento ogni risultato è stato classificato come positivo, neutrale o negativo e confrontato con la versione di riferimento composta da testo nero su sfondo bianco. Nei test VQA è stato utilizzato invece il punteggio F1 a livello di token confrontando la risposta generata dal modello con quella considerata corretta.
Per misurare specificamente l’effetto delle risposte sbagliate rese visivamente prominenti è stata inoltre introdotta una nuova metrica, denominata Induced Error Rate. L’IER indica con quale frequenza il modello seleziona il decoy evidenziato invece della risposta corretta quando il resto del documento diventa progressivamente meno visibile. I ricercatori hanno affiancato a questa misura anche un test OCR basato su VLM, utilizzato per stimare a quale livello di contrasto le singole parole cessano di essere lette affidabilmente, e un’analisi dello spazio degli embedding di CLIP per osservare se il colore modifica direttamente la rappresentazione interna delle parole.
Le differenze tra i modelli sono risultate notevoli. Qwen2-VL-7B è stato il sistema maggiormente sensibile alle variazioni cromatiche nei test sulle frasi brevi. Quando le parole positive venivano colorate in verde o blu, lo spostamento massimo della classificazione verso il sentimento positivo raggiungeva +0,42 rispetto alla baseline; quando invece le parole negative venivano visualizzate in rosso, lo spostamento poteva arrivare a -0,48. L’intero intervallo di variazione osservato sul modello raggiungeva quindi 0,90. IDEFICS2-8B mostrava un comportamento analogo ma meno pronunciato, con un intervallo complessivo di 0,52, mentre i due modelli LLaVA rimanevano molto più vicini al comportamento originale, con variazioni complessive comprese tra 0,04 e 0,12.
L’intensità del colore tendeva inoltre ad amplificare l’effetto. Su Qwen2-VL-7B il verde e il blu applicati a termini positivi spostavano sistematicamente le classificazioni verso valutazioni più favorevoli, mentre il rosso applicato alle parole negative aumentava la probabilità di una classificazione negativa. IDEFICS2-8B mostrava una dinamica simile ma più debole, mentre LLaVA-v1.6-Mistral-7B e LLaVA-v1.6-Vicuna-7B risultavano sostanzialmente più resistenti alla manipolazione cromatica nelle condizioni considerate.
Il comportamento cambia parzialmente quando il testo diventa più lungo. Nei test strutturati la posizione delle informazioni tende infatti a prevalere sul colore. Qwen2-VL-7B e LLaVA-Mistral-7B attribuivano generalmente maggiore peso alla seconda metà del documento, mostrando quindi un comportamento di recency, mentre IDEFICS2-8B e LLaVA-Vicuna-7B tendevano più spesso a seguire le informazioni presenti nella prima metà. Il colore continuava comunque a produrre variazioni, soprattutto su IDEFICS2-8B, ma il suo peso risultava inferiore rispetto a quello osservato nelle frasi brevi.
L’analisi delle rappresentazioni interne di CLIP ha mostrato che il fenomeno non riguarda soltanto la risposta finale. I ricercatori hanno esaminato sei parole, tra cui warm, cold, safe, dangerous, good e bad, misurandone la posizione rispetto ad assi concettuali collegati a sicurezza, valenza emotiva, temperatura ed emozione. Cambiando esclusivamente il colore del testo, la posizione delle parole nello spazio semantico si modificava in modo sistematico. L’effetto maggiore è stato osservato sull’asse good-bad: il verde tendeva a spostare la rappresentazione in una direzione più positiva, mentre altri colori, tra cui il blu in alcune configurazioni, potevano produrre uno spostamento nella direzione opposta. Variazioni più contenute ma consistenti comparivano anche sugli assi relativi a emozione, sicurezza e temperatura. CLIP è stato utilizzato come strumento di analisi e non come spiegazione diretta dell’architettura interna di tutti i VLM testati, ma gli spostamenti osservati risultavano coerenti con quelli registrati nelle classificazioni di sentimento.
Anche il contrasto ha prodotto effetti significativi nei test di Visual Question Answering. Quando la risposta corretta veniva mantenuta visivamente più evidente rispetto al resto del documento, il punteggio F1 aumentava; quando invece veniva messo in risalto il decoy sbagliato, le prestazioni diminuivano. Riducendo progressivamente la visibilità del testo circostante, l’Induced Error Rate tendeva ad aumentare perché diversi modelli iniziavano a selezionare con maggiore frequenza la risposta sbagliata resa più evidente graficamente. In questa specifica prova Qwen2-VL-7B, nonostante fosse risultato il sistema più vulnerabile alle variazioni cromatiche nei test di sentiment, si è mostrato relativamente più resistente degli altri alla competizione di salienza basata sul contrasto.
Il problema riguarda in particolare le pipeline che acquisiscono documenti, pagine web, PDF o screenshot attraverso la componente visiva del modello. Una formattazione apparentemente innocua può modificare la decisione del sistema senza alterare il contenuto testuale sottostante, mentre una manipolazione intenzionale potrebbe utilizzare gli stessi segnali per orientare la risposta. Una pagina potrebbe, per esempio, presentare agli utenti un testo visivamente uniforme ma applicare attraverso CSS differenti caratteristiche cromatiche alla versione destinata a sistemi automatici capaci di renderizzare la pagina. L’efficacia di una simile tecnica dipenderebbe comunque dalla modalità con cui il sistema acquisisce i contenuti: un crawler che estrae soltanto HTML e testo ignorando la presentazione CSS non sarebbe influenzato dalle variazioni cromatiche, mentre una pipeline che renderizza effettivamente la pagina e la analizza come immagine potrebbe conservarne gli effetti.
Tra le contromisure proposte rientrano la normalizzazione del testo renderizzato prima dell’inferenza, eliminando o uniformando le caratteristiche visive non necessarie, il confronto delle risposte ottenute dall’immagine con quelle prodotte utilizzando il testo estratto tramite OCR e l’introduzione nei benchmark di controlli specifici sulla style invariance. L’obiettivo è verificare che un modello produca risultati sostanzialmente equivalenti quando il contenuto linguistico rimane identico ma cambiano colore, contrasto o altre caratteristiche puramente grafiche. I risultati mostrano infatti che, almeno per alcuni VLM, la formattazione non costituisce soltanto un elemento estetico dell’input: può entrare nella rappresentazione del contenuto e influenzare direttamente la classificazione o la risposta generata.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)