Un gruppo di ricercatori di Google DeepMind e della Stanford University ha individuato un comportamento inatteso nei modelli di intelligenza artificiale multimodale: immagini contenenti semplici simboli geometrici, apparentemente estranei al compito assegnato, possono influenzare in modo significativo le strategie utilizzate per risolvere problemi di programmazione. Lo studio, intitolato A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs e pubblicato su arXiv il 27 ottobre 2026, esamina il rapporto tra percezione visiva, decisioni operative e capacità dei modelli Vision-Language Model (VLM) di interpretare e comunicare informazioni attraverso immagini. Il risultato principale riguarda la possibilità che uno stimolo visivo apparentemente irrilevante, come un cuore rosso, induca un modello a modificare la struttura del codice generato, privilegiando la ricorsione rispetto all’iterazione anche quando le istruzioni testuali rimangono identiche. Gli esperimenti evidenziano inoltre una discrepanza tra i fattori che influenzano effettivamente il comportamento del sistema e le spiegazioni prodotte durante l’elaborazione, sollevando interrogativi sull’affidabilità delle tracce di ragionamento come strumenti per ricostruire le cause delle decisioni assunte dai modelli multimodali.
La ricerca ha coinvolto Claude Opus 4.7, GPT-5.4 e Gemini 3.1 Pro, sottoposti a problemi di programmazione relativi all’attraversamento di strutture dati ad albero binario. Queste operazioni possono essere implementate attraverso procedure iterative, che utilizzano cicli e strutture ausiliarie per visitare progressivamente i nodi, oppure mediante procedure ricorsive, nelle quali una funzione richiama sé stessa per esplorare i differenti rami. Entrambe le soluzioni sono tecnicamente valide e la scelta dipende normalmente dalle caratteristiche del problema, dai vincoli di memoria e dall’organizzazione del programma. I ricercatori hanno utilizzato richieste sostanzialmente identiche, modificando soltanto la presenza e il contenuto di una piccola immagine che il modello doveva osservare durante la soluzione. Per ciascuna condizione sperimentale sono state generate venti risposte, successivamente classificate in base alla strategia di programmazione adottata. In assenza di immagini, Claude Opus 4.7 e GPT-5.4 hanno prodotto esclusivamente soluzioni iterative nelle prove considerate. L’aggiunta di un semplice cuore rosso ha invece portato entrambi i modelli a utilizzare la ricorsione nel 100% delle generazioni. Gemini 3.1 Pro ha mostrato una sensibilità differente, adottando la ricorsione nel 90% dei casi quando veniva presentato un simbolo di spunta giallo.
Per comprendere l’origine del comportamento, il gruppo ha costruito una raccolta di 288 simboli visivi ottenuti combinando 24 forme geometriche con dodici colori differenti. Ogni immagine è stata utilizzata come stimolo aggiuntivo durante la soluzione dei problemi, consentendo di misurare la variazione della probabilità di generare codice ricorsivo rispetto alla condizione senza immagini. L’analisi ha mostrato che le associazioni tra simboli e strategie non sono uniformi tra i modelli. Claude Opus 4.7 ha manifestato una particolare sensibilità ad alcune configurazioni di triangoli e cerchi, mentre GPT-5.4 ha reagito in modo più marcato alle immagini di cuori. Per Gemini 3.1 Pro sono risultate determinanti specifiche combinazioni di forma e colore. In alcuni casi, la semplice presenza di questi elementi visivi ha provocato un cambiamento comparabile a quello ottenuto impartendo direttamente l’istruzione testuale di utilizzare una procedura ricorsiva. I risultati indicano quindi che i modelli possono sviluppare associazioni operative tra caratteristiche visive e modalità di risoluzione che non corrispondono necessariamente al significato comunemente attribuito agli stessi simboli dalle persone.
Gli esperimenti di controllo hanno permesso di escludere alcune spiegazioni più semplici del fenomeno. La sostituzione dell’immagine con una descrizione testuale equivalente, per esempio l’espressione che identifica un cuore rosso, non ha prodotto variazioni comparabili nella scelta della strategia. Anche immagini costituite da rumore casuale e fotografie ordinarie di animali hanno mostrato effetti generalmente molto più limitati rispetto ai simboli geometrici selezionati. Questo comportamento suggerisce che l’influenza non dipenda semplicemente dall’aggiunta di contenuto visivo alla richiesta, ma da particolari associazioni presenti nelle rappresentazioni interne dei modelli. La risposta può inoltre variare in funzione delle proprietà dell’immagine e della sua collocazione nel contesto, indicando che il condizionamento visivo non è una regola universale applicabile indistintamente a qualsiasi figura. La ricerca ha esaminato anche problemi differenti da quello iniziale, rilevando la possibilità di orientare le soluzioni sia verso la ricorsione sia verso l’iterazione mediante stimoli visivi appropriati.
Un aspetto particolarmente rilevante riguarda la scarsa corrispondenza tra il comportamento osservato e le spiegazioni fornite dai modelli. Il gruppo ha analizzato 2.880 tracce di ragionamento generate da Gemini 3.1 Pro per verificare se il sistema riconoscesse l’influenza delle immagini sulle proprie decisioni. Nel 71,5% delle tracce associate a condizioni nelle quali il simbolo aveva effettivamente modificato la strategia di programmazione, il modello descriveva l’immagine come irrilevante oppure dichiarava di ignorarla, pur scegliendo una soluzione coerente con il condizionamento visivo rilevato sperimentalmente. Le spiegazioni tendevano invece a giustificare la ricorsione attraverso motivazioni tecniche, come la maggiore semplicità o chiarezza dell’implementazione. GPT-5.4 ha mostrato anche il comportamento opposto: nel 74,7% delle tracce considerate in una specifica condizione di analisi attribuiva importanza al simbolo visivo anche quando quest’ultimo non aveva prodotto un cambiamento misurabile nella strategia adottata. Questi risultati evidenziano due differenti forme di discrepanza, nelle quali il modello può non riconoscere un’influenza effettiva oppure attribuire a uno stimolo un ruolo causale non supportato dal comportamento osservato. Le tracce di ragionamento, pertanto, non costituiscono necessariamente una rappresentazione fedele dei meccanismi che hanno determinato il risultato.
I ricercatori hanno successivamente modificato le condizioni sperimentali, inserendo i simboli visivi nel contesto della conversazione senza richiedere esplicitamente al modello di esaminarli durante la generazione del codice. Anche in questa configurazione, alcuni simboli hanno continuato a influenzare significativamente le strategie adottate. In particolare, GPT-5.4 ha mostrato cambiamenti nel comportamento senza menzionare le immagini nelle proprie tracce di ragionamento. Il risultato indica che la presenza di informazioni visive nel contesto può influire sulle decisioni operative anche quando tali informazioni non vengono riconosciute o discusse esplicitamente durante l’elaborazione. L’effetto non è risultato circoscritto ai compiti di programmazione. In ulteriori prove dedicate alla scrittura, immagini contenenti cuori e forme rosa hanno aumentato la probabilità che i tre modelli scegliessero uno stile poetico anziché professionale. Nel caso di Claude Opus 4.7, la presenza di un cuore ha influenzato anche la lunghezza dei testi prodotti, favorendo risposte più estese. In altri esperimenti, Gemini 3.1 Pro e GPT-5.4 hanno mostrato una maggiore propensione a scegliere l’inverno rispetto all’estate quando veniva presentato un triangolo blu. Queste osservazioni suggeriscono che le associazioni visive possano intervenire anche nella selezione dello stile espressivo e di contenuti semantici non direttamente collegati all’immagine.
La ricerca ha inoltre esaminato la possibilità che due modelli multimodali comunichino informazioni utilizzando esclusivamente rappresentazioni visive. In queste prove, un modello trasmittente doveva rappresentare un concetto o una strategia di programmazione attraverso un disegno, mentre un secondo modello, destinatario del messaggio, doveva interpretare l’immagine e produrre il comportamento richiesto. I ricercatori hanno osservato una discrepanza tra i simboli che il modello trasmittente considerava intuitivamente appropriati e quelli che modificavano realmente il comportamento del destinatario. Per rappresentare il concetto di ricorsione, per esempio, i modelli tendevano inizialmente a disegnare spirali, strutture ramificate o frecce che richiamavano visivamente il ritorno di una funzione su sé stessa. Tuttavia, le prove precedenti avevano mostrato che, per alcuni destinatari, cuori e triangoli potevano risultare molto più efficaci nell’indurre una soluzione ricorsiva. Il sistema che generava l’immagine non disponeva quindi necessariamente di una conoscenza accurata delle associazioni visive effettivamente utilizzate dal modello ricevente. Questa differenza è stata descritta dai ricercatori come un divario tra generazione e interpretazione del significato visivo.
L’introduzione di un processo iterativo di verifica e correzione ha migliorato considerevolmente le prestazioni della comunicazione tra modelli. Quando il sistema trasmittente poteva generare liberamente un’immagine, osservare la risposta del destinatario e modificarla in base ai risultati, la percentuale di successo al primo tentativo raggiungeva il 91,2%, aumentando fino al 97,8% dopo le revisioni successive. Quando invece la comunicazione era limitata a un insieme prestabilito di forme, il successo iniziale scendeva al 47,8%. La differenza mostra l’importanza della libertà di rappresentazione e del feedback nel processo di costruzione di un linguaggio visivo efficace tra sistemi AI. Le rappresentazioni prodotte potevano essere modificate progressivamente per massimizzare la probabilità di ottenere il comportamento desiderato nel modello destinatario, indipendentemente dalla loro immediatezza interpretativa per un osservatore umano. La ricerca ha incluso anche prove di comunicazione relative a concetti astratti e storie, mostrando che i modelli possono sviluppare modalità creative di trasmissione delle informazioni attraverso immagini.
La distanza tra interpretazione umana e interpretazione dei modelli è stata ulteriormente verificata mediante un piccolo esperimento con sette partecipanti. Alle persone veniva richiesto di identificare il significato di simboli visivi utilizzati per influenzare la strategia di programmazione dei sistemi AI. I partecipanti hanno riconosciuto correttamente soltanto circa il 36% dei simboli che erano risultati efficaci nel modificare il comportamento dei modelli. Inoltre, quando le immagini venivano ottimizzate attraverso successive revisioni per migliorare la comunicazione tra i sistemi AI, la loro comprensibilità per le persone tendeva a diminuire. Questo risultato suggerisce che la costruzione di rappresentazioni efficaci per i modelli non coincide necessariamente con l’utilizzo di convenzioni grafiche facilmente interpretabili dagli esseri umani. Le associazioni che emergono durante l’elaborazione multimodale possono infatti essere differenti da quelle utilizzate nella comunicazione visiva ordinaria, anche quando coinvolgono simboli estremamente semplici e familiari.
Le osservazioni assumono particolare rilevanza per gli agenti di intelligenza artificiale che operano attraverso interfacce grafiche, browser e applicazioni software, nelle quali immagini, icone e altri elementi visivi vengono acquisiti insieme alle informazioni testuali necessarie per completare le attività. Un agente incaricato di sviluppare codice, analizzare una pagina web oppure interagire con un programma potrebbe essere influenzato da elementi grafici che non fanno parte delle istruzioni operative e che non vengono successivamente riconosciuti nelle spiegazioni generate. Lo studio non dimostra che questi effetti producano necessariamente errori o manipolazioni negli ambienti professionali, ma identifica un possibile fattore di condizionamento che richiede ulteriori verifiche. Gli autori sottolineano infatti il carattere preliminare dei risultati e la necessità di estendere gli esperimenti a contesti applicativi più realistici, oltre ai limiti del piccolo campione utilizzato nelle valutazioni umane. La ricerca documenta quindi una proprietà specifica dei modelli multimodali: la possibilità che caratteristiche visive apparentemente scollegate dal compito incidano sulle scelte operative, mentre le interpretazioni esplicite e le tracce di ragionamento rimangono insufficienti per descrivere in maniera affidabile tale influenza.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)