Yann LeCun, professore alla New York University, e Randall Balestriero, professore alla Brown University, hanno presentato il 29 ottobre 2026 una ricerca dedicata alla dimostrazione matematica delle condizioni nelle quali modelli di intelligenza artificiale addestrati indipendentemente possono sviluppare rappresentazioni interne equivalenti della realtà. Entrambi i ricercatori sono collegati anche ad AMI Labs, l’organizzazione fondata da LeCun per lo sviluppo di modelli del mondo fisico. Lo studio, intitolato Proving and Improving the Platonic Representation Hypothesis with JEPA, approfondisce la Platonic Representation Hypothesis proposta nel 2024, secondo la quale sistemi AI addestrati con dati e modalità differenti tendono progressivamente a organizzare le informazioni secondo strutture relazionali simili. L’ipotesi deriva dall’osservazione che modelli dedicati alle immagini e modelli linguistici possono costruire spazi di rappresentazione nei quali oggetti e concetti mantengono relazioni comparabili, anche quando le coordinate e le caratteristiche numeriche impiegate per rappresentarli risultano differenti. La ricerca individua condizioni matematiche specifiche nelle quali tale convergenza può essere dimostrata, anziché limitarsi a osservare empiricamente una maggiore somiglianza tra modelli di grandi dimensioni.
L’approccio utilizzato è basato sulla Joint Embedding Predictive Architecture, o JEPA, un paradigma di apprendimento nel quale il modello non cerca necessariamente di ricostruire l’intero dato originale oppure prevedere il token successivo, ma apprende a rappresentare le caratteristiche condivise tra osservazioni correlate. La costruzione dei dati di addestramento costituisce un elemento fondamentale del metodo. I ricercatori utilizzano coppie di osservazioni riferite allo stesso contenuto, ma formulate da prospettive o con descrizioni differenti. Due testi possono, per esempio, rappresentare la medesima scena attraverso parole differenti, mantenendo invariati gli oggetti e le loro relazioni. Durante l’addestramento, il modello viene incoraggiato a conservare le informazioni comuni alle osservazioni, riducendo l’importanza delle variazioni superficiali che non contribuiscono alla comprensione del contenuto. La procedura viene definita Good Views e comprende la selezione o il ritaglio di parti differenti delle descrizioni per costringere il sistema a individuare gli elementi condivisi.
La dimostrazione matematica stabilisce che, sotto specifiche ipotesi relative alla generazione e alla correlazione dei dati, modelli JEPA addestrati indipendentemente possono apprendere rappresentazioni coincidenti a meno di una trasformazione geometrica, come una rotazione dello spazio delle coordinate. La convergenza non richiede quindi che i valori numerici delle rappresentazioni siano identici nella forma originaria, ma che la struttura delle relazioni tra gli oggetti possa essere allineata mediante una trasformazione appropriata. I ricercatori mostrano anche che la scelta delle osservazioni associate influisce direttamente sulla possibilità di ottenere questa proprietà. Se i dati non vengono collegati in modo adeguato, il modello può conservare caratteristiche particolari della singola osservazione e dettagli non pertinenti, impedendo l’emergere di una rappresentazione comune. La procedura Good Views interviene proprio sulla selezione delle informazioni condivise, rendendo la struttura dei dati una componente determinante dell’apprendimento.
Le verifiche sperimentali hanno confrontato JEPA con il tradizionale addestramento autoregressivo basato sulla previsione del token successivo. Utilizzando lo stesso insieme di dati testuali e strutture di modello comparabili, il sistema JEPA addestrato mediante Good Views ha raggiunto un livello di somiglianza delle rappresentazioni con 21,6 milioni di campioni, mentre il modello autoregressivo ha richiesto circa 900 milioni di campioni per ottenere un risultato equivalente. La differenza corrisponde a un fattore di circa 42. Considerando invece il numero complessivo di token testuali elaborati, il vantaggio si riduce a un fattore di 14. Si tratta di risultati relativi alla convergenza delle rappresentazioni interne e non di una riduzione equivalente del costo computazionale complessivo o di un aumento generalizzato delle prestazioni linguistiche. La distinzione è importante perché la somiglianza degli spazi di rappresentazione costituisce una specifica proprietà misurabile e non coincide con tutte le capacità di ragionamento, generazione o pianificazione di un modello.
Un ulteriore esperimento ha utilizzato circa 940 milioni di immagini del web associate a descrizioni testuali per addestrare un modello JEPA con 109 milioni di parametri. Il sistema ha ottenuto una somiglianza delle rappresentazioni visive e linguistiche superiore a quella di alcuni modelli linguistici molto più grandi, fino a 72 miliardi di parametri. In una delle valutazioni presentate, JEPA ha raggiunto un punteggio di 0,184, rispetto allo 0,154 di Qwen2.5-72B, nonostante quest’ultimo comprendesse circa 660 volte più parametri. Il risultato non dimostra una superiorità generale del modello compatto, ma evidenzia la maggiore efficacia della specifica procedura di addestramento nel produrre rappresentazioni confrontabili con quelle dei sistemi visivi. I ricercatori hanno inoltre sviluppato una legge predittiva che collega la percentuale di osservazioni Good Views e il numero di campioni disponibili al livello di allineamento atteso. La legge è stata utilizzata per prevedere gli esiti di 85 esperimenti non ancora eseguiti, con errori generalmente comparabili alle variazioni osservate ripetendo l’addestramento con inizializzazioni casuali differenti. Alcuni esperimenti su scale più elevate hanno tuttavia mostrato scostamenti maggiori.
La ricerca esamina anche la possibilità di collegare modelli visivi e linguistici addestrati separatamente. In una dimostrazione, le rappresentazioni interne di un modello per immagini e di un modello testuale sono state allineate attraverso una trasformazione matematica, permettendo di produrre descrizioni linguistiche di fotografie senza procedere a un nuovo addestramento congiunto completo dei due sistemi. Per apprendere la trasformazione di collegamento sono state comunque utilizzate 30.000 coppie di immagini e descrizioni. Un esperimento distinto ha verificato la possibilità di allineare le rappresentazioni anche senza disporre di coppie esplicite che associassero direttamente immagini e testi. Le descrizioni generate presentavano in alcuni casi errori nell’identificazione dei soggetti, indicando che l’allineamento delle rappresentazioni non elimina automaticamente le difficoltà nella generazione di contenuti corretti.
Gli autori riconoscono alcuni limiti metodologici. Le dimostrazioni matematiche richiedono ipotesi specifiche sulla struttura dei dati e sulle condizioni di apprendimento che non risultano necessariamente soddisfatte nei sistemi reali. Una parte consistente delle descrizioni testuali impiegate negli esperimenti è stata inoltre prodotta da modelli già addestrati con informazioni visive e linguistiche, introducendo una possibile dipendenza da rappresentazioni multimodali preesistenti. Quando queste descrizioni sintetiche vengono escluse, la qualità dell’allineamento diminuisce. I risultati non dimostrano quindi che qualsiasi insieme di modelli addestrati indipendentemente converga spontaneamente verso una rappresentazione universale del mondo. La ricerca fornisce invece condizioni teoriche precise e una procedura sperimentale attraverso cui aumentare l’allineamento delle rappresentazioni, indicando una possibile alternativa all’incremento indiscriminato della dimensione dei modelli per alcune attività di apprendimento multimodale.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)