Hai mai sentito parlare di studi che affermano che la lettura della letteratura per tre minuti rende le persone più empatiche o che tenere una cartella più pesante rende più probabile che un manager assuma un candidato? Queste scoperte di scienze sociali sono spesso riportate dalla stampa popolare, ma potrebbero non essere vere.
Negli ultimi anni, i tentativi di replicare tali risultati hanno portato alla scoperta che meno del 40% degli articoli nelle riviste di psicologia sottoposte a revisione paritaria possono essere verificati. Ciò ha sollevato preoccupazioni sulla validità delle tecniche utilizzate in questi studi, come l’uso imperfetto dei metodi statistici e la manipolazione dei dati.
Per separare il tesoro dalla spazzatura, i ricercatori hanno cercato nuovi modi per valutare la ricerca scientifica. Uno di questi metodi è l’uso di programmi di apprendimento automatico che vengono addestrati utilizzando dati raccolti da tentativi di replicare centinaia di studi. Questi sistemi sono stati testati utilizzando studi che non avevano mai visto prima.
I primi risultati suggeriscono che i robot sono altrettanto bravi a filtrare il rumore di 100 esperti umani e che sono molto migliori degli editori umani di riviste e giornali scientifici. Ci sono anche altri metodi in fase di sviluppo, come i mercati di previsione, che hanno dimostrato di funzionare molto meglio della revisione paritaria standard.
Gli studi più improbabili sono quelli che attirano maggiormente l’attenzione della stampa. Questo è stato dimostrato da uno studio condotto da Brian Uzzi, uno psicologo della Northwestern University, che ha scoperto che molti degli studi che hanno attirato l’attenzione hanno sostenuto idee ora scartate.
Il problema della replicazione è più profondo nei campi che coinvolgono il comportamento umano, dove non è sempre ovvio ciò che rende straordinaria un’affermazione. Ciò rende più difficile seguire il mantra secondo cui affermazioni straordinarie richiedono prove straordinarie.
Tuttavia, i sistemi di apprendimento automatico e i mercati di previsione sono riusciti a superare le limitazioni della revisione paritaria standard, valutando i livelli di confidenza e fornendo risultati altrettanto validi degli esperti umani.
L’uso di questi metodi potrebbe aiutare a proteggere i ricercatori dall’errore e a migliorare l’affidabilità del lavoro pubblicato. Potrebbe anche aiutare redattori di riviste, giornalisti e responsabili politici a valutare la ricerca scientifica.
In futuro, questi metodi potrebbero anche essere utilizzati per contrastare la diffusione di disinformazione scientifica generata da grandi modelli linguistici come ChatGPT. Questo potrebbe essere visto come un risultato positivo, poiché dimostra che siamo in grado di utilizzare la tecnologia per comprendere meglio la nostra mente e continuare a fare progressi nella ricerca scientifica. Mentre gli esseri umani non sono ancora in grado di capire completamente il funzionamento della mente, possiamo utilizzare le macchine per aiutarci a farlo.
Inoltre, potrebbe essere utile sviluppare un sistema di valutazione che si concentri su fattori esterni, come i track record degli autori e dove è stato citato un documento. Questo potrebbe fornire un ulteriore livello di verifica per garantire che la ricerca pubblicata sia affidabile e di alta qualità.
In generale, l’uso di sistemi di apprendimento automatico e mercati di previsione rappresenta un importante passo avanti per migliorare la qualità della ricerca scientifica. Potrebbe essere utilizzato in futuro per proteggere i ricercatori dal rischio di errori e migliorare l’affidabilità del lavoro pubblicato. E questo è un grande progresso per la scienza e per tutti coloro che cercano di capire meglio il mondo in cui viviamo.