Un gruppo internazionale di 35 ricercatori, appartenenti a istituzioni tra cui l’International Centre for Theoretical Sciences (ICTS) dell’India, il Tata Institute of Fundamental Research, l’Università della Pennsylvania e Google DeepMind, ha sviluppato TheoPhysEval, un benchmark progettato per misurare la capacità degli agenti di intelligenza artificiale di affrontare autonomamente problemi di ricerca nella fisica teorica. Lo studio, diffuso su arXiv il 9 ottobre 2026, comprende 50 problemi di ricerca non precedentemente pubblicati, distribuiti in undici ambiti disciplinari che spaziano dalla fisica classica alla teoria quantistica dei campi, dalla fisica delle particelle alla gravitazione e alla cosmologia. La valutazione è stata costruita per verificare non soltanto la capacità di un modello di richiamare conoscenze scientifiche, ma anche quella di individuare riferimenti bibliografici pertinenti, comprendere formalismi matematici, modificare procedimenti già descritti nella letteratura specialistica, sviluppare calcoli ed eseguire codice per ottenere risultati quantitativi. Nella configurazione che consentiva l’accesso alla ricerca sul web e agli strumenti di esecuzione del codice, GPT-6 Astra di OpenAI ha risolto correttamente 49 problemi su 50, raggiungendo un’accuratezza del 98% senza ricevere suggerimenti umani durante l’esecuzione. Il risultato assume particolare rilievo per la natura dei quesiti, elaborati da ricercatori attivi nelle rispettive discipline e concepiti per richiedere una rielaborazione effettiva di conoscenze specialistiche, anziché la semplice riproduzione di risposte già disponibili.
Le prove di TheoPhysEval comprendono attività nelle quali è necessario identificare un risultato scientifico esistente e adattarlo a condizioni differenti da quelle originariamente studiate. Un esempio riguarda la ricerca di lavori relativi alle black string, soluzioni gravitazionali descritte in uno spazio-tempo a cinque dimensioni, dai quali ricavare un procedimento applicabile a una configurazione modificata in quattro dimensioni e successivamente sviluppare i calcoli numerici necessari. Per completare esercizi di questo tipo, l’agente deve individuare la formulazione teorica appropriata, comprendere quali assunzioni siano legate al problema originale, stabilire le modifiche richieste dalla nuova configurazione ed eseguire una sequenza coerente di passaggi matematici e computazionali. I ricercatori hanno comunque escluso deliberatamente i grandi problemi ancora irrisolti della fisica teorica, concentrandosi su attività che uno specialista del settore potrebbe normalmente completare nell’arco di una giornata di lavoro. Il benchmark non misura quindi la capacità di risolvere autonomamente le principali questioni aperte della disciplina, ma quella di svolgere problemi di ricerca circoscritti e tecnicamente impegnativi, rappresentativi di una parte delle operazioni affrontate quotidianamente nei gruppi scientifici e durante la formazione dei giovani ricercatori.
La valutazione ha coinvolto cinque sistemi di intelligenza artificiale. Nella configurazione con accesso agli strumenti esterni, GPT-6 Astra ha ottenuto 49 risposte corrette su 50, seguito da Claude Opus 5.5 con 46 problemi risolti, Gemini 3.8 Flash con 34, DeepSeek-V4.1 Flash con 27 e GLM-5.3 con 21. Il costo complessivo delle chiamate API per GPT-6 Astra è stato di 116,28 dollari, corrispondente a una media di circa 2,33 dollari per problema. I ricercatori hanno esaminato anche una configurazione senza accesso a Internet, nella quale GPT-6 Astra e Claude Opus 5.5 hanno entrambi risolto 46 problemi, evidenziando una differenza rispetto alla modalità che consentiva il recupero di informazioni esterne. L’unico quesito non risolto da Astra richiedeva di ricostruire, a partire da una curva assegnata, l’equazione differenziale capace di generarla, invertendo quindi il procedimento normalmente impiegato per ottenere le soluzioni di un sistema matematico. Nessuno degli altri modelli sottoposti al test è riuscito a completare correttamente questo problema. I risultati evidenziano inoltre differenze considerevoli tra i sistemi valutati, pur nell’ambito di una prova circoscritta a 50 quesiti e non concepita per rappresentare l’intera varietà delle attività di ricerca scientifica.
Un aspetto particolarmente significativo è emerso durante la verifica delle risposte. Subrat Raju, ricercatore dell’ICTS e coautore dello studio, ha spiegato il 14 ottobre che il progetto era nato circa sei mesi prima, quando aveva sottoposto a un sistema AI un problema di ricerca non pubblicato. Inizialmente il modello aveva prodotto una risposta errata, ma era riuscito a raggiungere la soluzione corretta dopo aver ricevuto alcuni suggerimenti. Questa esperienza aveva contribuito all’organizzazione di una raccolta di quesiti elaborati da specialisti di differenti discipline. Durante la costruzione del benchmark, tuttavia, le capacità dei modelli avevano continuato a migliorare, tanto che gli organizzatori avevano chiesto ripetutamente ai partecipanti di aumentare la difficoltà delle prove. Raju ha sottolineato soprattutto la capacità dimostrata dai sistemi più avanzati di affrontare problemi appartenenti a settori diversi della fisica teorica, osservando che uno specialista può risolvere agevolmente questioni del proprio ambito, ma incontrare difficoltà persino nell’interpretare correttamente quesiti provenienti da altre discipline. La combinazione di competenze scientifiche trasversali, ricerca bibliografica ed esecuzione di calcoli ha pertanto rappresentato uno degli elementi distintivi delle prestazioni registrate.
La fase di correzione ha prodotto un risultato inatteso. Il punteggio iniziale di GPT-6 Astra si collocava nella fascia alta dell’80%, ma l’esame delle risposte considerate errate ha evidenziato diversi casi nei quali il modello contestava la soluzione di riferimento predisposta dagli esperti. I ricercatori hanno quindi richiesto agli autori dei quesiti di riesaminare i rispettivi calcoli, individuando errori matematici sottili in alcune soluzioni originarie. Dopo la revisione delle risposte di riferimento, l’accuratezza attribuita ad Astra è salita fino al 98%. Questo episodio ha mostrato che la valutazione di sistemi capaci di affrontare problemi scientifici complessi può richiedere una verifica indipendente anche delle soluzioni umane utilizzate come riferimento. L’economista Alex Tabarrok ha richiamato il 15 ottobre proprio questa inversione del processo di verifica, nel quale un benchmark inizialmente costruito per giudicare le prestazioni dell’intelligenza artificiale ha finito per contribuire anche all’identificazione di errori nei risultati prodotti dagli specialisti.
Gli autori hanno evidenziato alcune limitazioni metodologiche. La valutazione è stata effettuata considerando le risposte finali prodotte dagli agenti in una singola esecuzione per ciascun sistema, senza una caratterizzazione completa della variabilità delle prestazioni attraverso tentativi ripetuti. Inoltre, alcuni ricercatori coinvolti nella preparazione dei problemi avevano utilizzato strumenti di intelligenza artificiale durante la formulazione o la soluzione dei quesiti, una circostanza che impedisce di escludere completamente eventuali forme di esposizione preventiva dei contenuti o delle risposte ai sistemi valutati. I risultati non dimostrano neppure che gli agenti siano già capaci di selezionare autonomamente le questioni scientifiche più promettenti, riconoscere quando abbandonare una linea di ricerca improduttiva oppure formulare nuove teorie. La distinzione riguarda il passaggio dall’esecuzione di un problema definito alla conduzione autonoma di un programma scientifico, che richiede decisioni sulla rilevanza delle domande, sulla strategia sperimentale e sulla direzione complessiva delle indagini. I ricercatori hanno infine richiamato le possibili conseguenze per la formazione universitaria avanzata, poiché esercizi analoghi a quelli inclusi in TheoPhysEval vengono utilizzati per insegnare agli studenti di dottorato a comprendere lavori precedenti e sviluppare i primi risultati originali. La disponibilità di agenti capaci di ottenere autonomamente le soluzioni rende necessario distinguere con maggiore precisione l’acquisizione delle competenze matematiche dal semplice raggiungimento del risultato finale.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)