L’interpretazione dei grafici rappresenta uno degli ambiti più complessi per i moderni modelli di intelligenza artificiale multimodale. Sebbene i sistemi più avanzati siano ormai in grado di analizzare immagini, comprendere testi e generare contenuti in linguaggio naturale, la lettura corretta di un grafico richiede la combinazione simultanea di competenze visive, numeriche e semantiche. Un modello deve riconoscere la tipologia del grafico, interpretare assi e scale, associare correttamente colori e legende, estrarre valori numerici e comprendere le relazioni tra i dati rappresentati. Questo processo è significativamente più complesso rispetto alla semplice analisi di immagini tradizionali o documenti testuali.
Per affrontare questo limite, i ricercatori del MIT e del MIT-IBM Computing Research Lab hanno sviluppato ChartNet, un dataset multimodale progettato specificamente per addestrare modelli linguistico-visivi alla comprensione dei grafici. Il progetto nasce dalla constatazione che la disponibilità di dati di addestramento specializzati rappresenta uno dei principali colli di bottiglia nello sviluppo di sistemi AI capaci di effettuare analisi affidabili di dashboard, report aziendali, documenti finanziari e pubblicazioni scientifiche.
ChartNet raccoglie oltre 1,5 milioni di esempi e costituisce uno dei più grandi dataset open source dedicati alla comprensione delle visualizzazioni di dati. Ogni campione non contiene solamente l’immagine del grafico, ma integra cinque componenti allineate tra loro: il codice utilizzato per generare la visualizzazione, il grafico renderizzato, la tabella numerica sottostante, una descrizione in linguaggio naturale e una serie di domande e risposte corredate da ragionamento esplicito. Questa struttura consente ai modelli di apprendere le relazioni tra rappresentazione grafica, dati numerici e interpretazione testuale, costruendo una comprensione molto più profonda rispetto ai dataset tradizionali.
Uno degli aspetti più innovativi del progetto riguarda la generazione automatica dei dati. I ricercatori hanno sviluppato una pipeline basata sul cosiddetto code-guided synthesis, un processo che parte da grafici esistenti, ne ricostruisce il codice di generazione e produce automaticamente numerose varianti modificando parametri come valori, colori, layout, stili grafici e librerie di rendering. Attraverso questa tecnica è stato possibile creare un enorme numero di esempi mantenendo elevati standard di qualità e coerenza semantica. Il sistema include inoltre controlli automatici per verificare che il codice sia eseguibile e che i grafici generati rappresentino correttamente i dati sottostanti.
La copertura del dataset è significativamente più ampia rispetto alle raccolte utilizzate finora nel settore. ChartNet comprende 24 differenti tipologie di grafici e utilizza sei librerie di visualizzazione, offrendo una varietà di rappresentazioni che riflette meglio gli scenari reali incontrati nelle attività di business intelligence, ricerca scientifica e analisi finanziaria. Oltre ai dati sintetici, il dataset incorpora decine di migliaia di grafici reali provenienti da fonti pubbliche, dati annotati manualmente da esperti e sottoinsiemi dedicati alla sicurezza e alla robustezza dei modelli.
I risultati ottenuti durante le sperimentazioni mostrano che modelli open source relativamente compatti, una volta sottoposti a fine-tuning su ChartNet, possono superare modelli commerciali molto più grandi in attività come l’estrazione di dati, la ricostruzione di grafici, la generazione di riassunti e la risposta a domande basate sulle informazioni visualizzate. Questo evidenzia come la qualità e la specializzazione dei dati di addestramento possano influire sulle prestazioni quanto, e in alcuni casi più, della semplice dimensione del modello.
Le possibili applicazioni sono particolarmente rilevanti per il mondo aziendale. Sistemi addestrati con dataset come ChartNet possono essere impiegati per automatizzare l’analisi di report finanziari, dashboard operative, indicatori di performance, documentazione scientifica e dati industriali. La capacità di comprendere grafici e visualizzazioni in modo affidabile rappresenta infatti uno dei prerequisiti per la costruzione di agenti AI in grado di supportare processi decisionali complessi basati sui dati.
Un altro elemento significativo riguarda la trasparenza. Le catene di ragionamento incluse nelle annotazioni consentono ai modelli di spiegare il percorso logico seguito per arrivare a una conclusione, un aspetto sempre più importante nei contesti regolamentati e nelle applicazioni soggette a requisiti di auditabilità. In un panorama in cui la governance dell’intelligenza artificiale assume un ruolo crescente, la possibilità di verificare come un modello ha interpretato un grafico e derivato una determinata risposta diventa un fattore essenziale per l’adozione in ambito professionale.