GPT-5.6 Pro ha contribuito alla risoluzione negativa di un problema aperto da circa vent’anni riguardante la procedura Benjamini-Hochberg, uno dei metodi più utilizzati per controllare il tasso di false scoperte quando vengono eseguiti numerosi test statistici contemporaneamente. Il modello ha costruito un controesempio matematico nel quale la procedura non mantiene il False Discovery Rate entro il livello nominale previsto in presenza di test gaussiani bilaterali correlati.
Il risultato è stato ottenuto da Edgar Dobriban, professore associato di statistica e data science presso la Wharton School dell’Università della Pennsylvania. La dimostrazione prodotta dal modello è stata controllata dettagliatamente dal ricercatore, trasformata in un lavoro formale e accompagnata da simulazioni Monte Carlo, codice riproducibile e una certificazione basata sull’aritmetica degli intervalli.
La procedura Benjamini-Hochberg viene utilizzata nei problemi di verifica multipla delle ipotesi, nei quali un ricercatore esegue contemporaneamente decine, migliaia o milioni di test. In una situazione di questo tipo, anche una probabilità relativamente bassa di ottenere un falso positivo per ciascun test può produrre un numero elevato di risultati apparentemente significativi ma in realtà dovuti al caso.
Il metodo parte dai valori p ottenuti dai singoli test, li ordina dal più piccolo al più grande e li confronta con una successione di soglie dipendenti dalla loro posizione, dal numero complessivo delle ipotesi e dal livello di errore scelto. L’obiettivo non è impedire qualsiasi falso positivo, ma controllare la quota media di false scoperte all’interno dell’insieme dei risultati dichiarati significativi.
La procedura garantisce questo controllo quando i valori p sono indipendenti e anche in presenza di alcune forme specifiche di dipendenza positiva. Rimaneva però aperta la questione relativa ai valori p bilaterali derivati da statistiche gaussiane correlate. Diversi risultati teorici, esperimenti numerici e argomentazioni parziali avevano sostenuto l’ipotesi che il metodo continuasse a rispettare il livello nominale anche in questo scenario.
GPT-5.6 Pro ha mostrato che questa conclusione non vale in generale. Il modello ha costruito una struttura di correlazione basata su un modello fattoriale nella quale, impostando la procedura Benjamini-Hochberg a un livello nominale dell’1%, il tasso effettivo di false scoperte supera lo 0,0104 quando il numero delle ipotesi diventa sufficientemente grande. La differenza assoluta è contenuta, ma è sufficiente a invalidare matematicamente la congettura secondo cui il controllo dovrebbe valere per tutte le configurazioni gaussiane correlate considerate.
Il problema riguarda test bilaterali, utilizzati quando si vuole individuare uno scostamento in entrambe le direzioni rispetto all’ipotesi nulla. Nel modello analizzato, le statistiche dei test condividono fattori comuni che generano dipendenze tra i valori osservati. Le probabilità marginali rimangono compatibili con valori p validi, ma la loro struttura congiunta modifica la frequenza con cui la procedura seleziona simultaneamente più risultati.
Il controesempio non si limita a una simulazione dalla quale emerge occasionalmente un superamento della soglia. La dimostrazione identifica un modello parametrico specifico, ricava una rappresentazione asintotica del False Discovery Rate e determina rigorosamente un intervallo di parametri nel quale il valore risultante supera il livello nominale.
Per completare il passaggio numerico, il lavoro utilizza l’aritmetica degli intervalli con arrotondamento verso l’esterno. Invece di calcolare una quantità attraverso normali numeri in virgola mobile, con il rischio che gli errori di arrotondamento alterino una differenza molto piccola, ogni operazione produce un intervallo garantito che contiene il valore matematico esatto. Se il limite inferiore dell’intervallo finale rimane superiore a 0,0104, il risultato non dipende dalla precisione ordinaria della macchina o da un’approssimazione numerica favorevole.
La certificazione è particolarmente importante perché la violazione individuata è ridotta. Un normale calcolo numerico potrebbe mostrare un valore superiore all’1% senza essere sufficiente a stabilire se la differenza sia reale oppure provocata dall’approssimazione. L’aritmetica degli intervalli consente invece di trasformare il calcolo in una parte verificabile della dimostrazione.
Le simulazioni Monte Carlo sono coerenti con il risultato teorico. Generando ripetutamente dati dal modello fattoriale costruito e applicando la procedura Benjamini-Hochberg, il tasso medio di false scoperte converge verso un valore superiore alla soglia impostata. Le simulazioni non sostituiscono la prova, ma permettono di controllare sperimentalmente il comportamento previsto dalla costruzione analitica.
Dobriban ha chiesto direttamente a GPT-5.6 Pro di dimostrare oppure confutare la congettura. Il modello ha lavorato sul problema per circa novanta minuti e ha prodotto in un’unica sessione l’idea fondamentale del controesempio e il percorso matematico necessario per formalizzarlo. Una precedente sperimentazione condotta con GPT-5.5, anche utilizzando più agenti e circa venti ore complessive di elaborazione, non era riuscita a individuare una soluzione valida.
Il confronto non costituisce un benchmark standardizzato, perché i modelli, i tempi di calcolo, le configurazioni e i tentativi non erano necessariamente equivalenti. Mostra tuttavia una differenza concreta nella capacità di esplorare una costruzione matematica complessa, individuare una configurazione avversaria e sviluppare una dimostrazione sufficientemente strutturata da poter essere sottoposta alla verifica di uno specialista.
GPT-5.6 Pro non si è limitato a cercare nella letteratura una dimostrazione già disponibile. Il problema era ancora descritto come aperto e la soluzione ha richiesto la costruzione di un nuovo esempio. Il modello ha dovuto coordinare teoria della probabilità, distribuzioni gaussiane dipendenti, analisi asintotica, controllo del False Discovery Rate e verifica numerica rigorosa.
Il lavoro rimane comunque una collaborazione tra intelligenza artificiale e ricercatore. La validità scientifica del risultato non deriva dal fatto che il testo sia stato generato da un modello, ma dal controllo matematico eseguito dall’autore, dalla disponibilità dei passaggi analitici, dalla certificazione numerica e dalla possibilità per altri statistici di esaminare il preprint e riprodurre il codice. Lo stesso lavoro precisa che la prova è stata ottenuta da GPT-5.6 Pro e successivamente verificata con attenzione da Dobriban.
La conclusione non rende inutilizzabile la procedura Benjamini-Hochberg e non dimostra che produca sistematicamente un numero eccessivo di false scoperte nei normali studi scientifici. Il risultato stabilisce che la garanzia teorica non può essere estesa indistintamente a ogni insieme di valori p gaussiani bilaterali correlati.
La violazione dimostrata riguarda una costruzione specifica e asintotica, con un numero sufficientemente grande di ipotesi. Il superamento del livello nominale è inoltre quantitativamente limitato: a fronte di una soglia dell’1%, il lavoro prova un False Discovery Rate superiore all’1,04%. La rilevanza principale è quindi teorica, perché elimina una congettura generale e definisce con maggiore precisione le condizioni entro le quali la procedura può essere considerata formalmente garantita.
Le conseguenze applicative dipenderanno dalla presenza di strutture simili nei dati reali. Test correlati compaiono frequentemente nella genomica, nell’analisi di immagini, nelle neuroscienze, nella finanza quantitativa, nella ricerca clinica e nell’apprendimento automatico. Variabili genetiche vicine, pixel, regioni cerebrali, asset finanziari o caratteristiche estratte dallo stesso dataset possono condividere fattori latenti e produrre statistiche fortemente dipendenti.
Il risultato richiede quindi di distinguere tra l’efficacia empirica del metodo e la validità universale della sua garanzia matematica. Benjamini-Hochberg rimane uno strumento fondamentale, ma l’utilizzatore deve considerare il tipo di dipendenza presente nei dati, la forma dei test e l’eventuale necessità di procedure più conservative o specificamente progettate per strutture correlate.
Il lavoro è stato pubblicato come preprint e deve ancora attraversare il normale processo di revisione scientifica. La disponibilità della dimostrazione, del codice e del certificato numerico permette tuttavia una verifica indipendente più approfondita rispetto a una semplice dichiarazione basata sull’output del modello.
Il caso mostra una modalità concreta di utilizzo dei sistemi di ragionamento avanzato nella ricerca matematica. Il modello può esplorare rapidamente configurazioni, formulare congetture intermedie, derivare espressioni e costruire controesempi, mentre il ricercatore definisce il problema, controlla le assunzioni, verifica i passaggi e stabilisce se il risultato soddisfi gli standard della disciplina.
GPT-5.6 Pro ha quindi accelerato la soluzione di una questione rimasta aperta per circa due decenni, ma il valore del risultato dipende dalla sua verificabilità e non dall’autonomia attribuita al sistema. La prova propone una conclusione precisa: la procedura Benjamini-Hochberg non garantisce sempre il controllo del False Discovery Rate al livello nominale quando viene applicata a valori p gaussiani bilaterali correlati.