L’intelligenza artificiale può aiutare i ricercatori a determinare quali documenti possono essere replicati, allo scopo di affrontare la crisi della riproduzione
Negli ultimi anni si sta prestando sempre più attenzione a ciò che studiosi e ricercatori dubitano della crisi di replicazione / riproducibilità. Molti studi semplicemente non danno gli stessi risultati significativi quando si tenta di replicare lo studio e, di conseguenza, la comunità scientifica è preoccupata che i risultati siano spesso enfatizzati. Il problema riguarda campi diversi come la psicologia e l’intelligenza artificiale. Quando si parla di intelligenza artificiale, molti articoli non sottoposti a peer review vengono pubblicati pretendendo risultati impressionanti che altri ricercatori non sono in grado di riprodurre. Al fine di affrontare il problema e ridurre il numero di studi non riproducibili, i ricercatori hanno progettato un modello di IA che mira a determinare quali documenti possono essere replicati.
Come riportato da Fortune , un nuovo documento pubblicato da un team di ricercatori della Kellog School of Management e dall’Institute of Complex Systems della Northwestern University presenta un modello di apprendimento profondo che può potenzialmente determinare quali studi sono probabilmente riproducibili e quali studi non sono ‘t. Se il sistema di intelligenza artificiale è in grado di discriminare in modo affidabile tra studi riproducibili e non riproducibili , potrebbe aiutare le università, gli istituti di ricerca, le aziende e altre entità a filtrare attraverso migliaia di documenti di ricerca per determinare quali documenti hanno più probabilità di essere utili e affidabili.
I sistemi di intelligenza artificiale sviluppati dal team nord-occidentale non utilizzano il tipo di evidenza empirica / statistica che i ricercatori utilizzano in genere per accertare la validità degli studi. Il modello impiega effettivamente tecniche di elaborazione del linguaggio naturale per cercare di quantificare l’affidabilità di un documento. Il sistema estrae modelli nel linguaggio usato dagli autori di un documento, scoprendo che alcuni schemi di parole indicano una maggiore affidabilità rispetto ad altri.
Il team di ricerca ha attinto alla ricerca psicologica vecchia come gli anni ’60, che ha scoperto che le persone spesso comunicano il livello di fiducia che hanno nelle loro idee attraverso le parole che usano. In linea con questa idea, i ricercatori hanno pensato che gli autori di articoli cartacei potessero inconsapevolmente segnalare la loro fiducia nei risultati delle loro ricerche quando scrivevano i loro articoli. I ricercatori hanno condotto due cicli di formazione, utilizzando set di dati diversi. Inizialmente, il modello è stato addestrato su circa due milioni di abstract da articoli scientifici, mentre la seconda volta il modello è stato addestrato su articoli completi per trarre da un progetto destinato a determinare quali documenti di psicologia possono essere riprodotti – il Progetto di riproducibilità: psicologia.
Dopo i test, i ricercatori hanno distribuito il modello su una raccolta di centinaia di altri documenti, tratti da vari campi come la psicologia e l’economia. I ricercatori hanno scoperto che il loro modello ha fornito una previsione più affidabile per quanto riguarda la riproducibilità di un documento rispetto alle tecniche statistiche tipicamente utilizzate per accertare se i risultati di un articolo possano essere replicati o meno.
Il professor Brian Uzzi, ricercatore e professore della Kellog School of Management, ha spiegato a Fortune che mentre spera che un giorno il modello AI possa essere utilizzato per aiutare i ricercatori ad accertare la probabilità che vengano riprodotti i risultati, il team di ricerca non è sicuro degli schemi e ne specifica i dettagli imparato. Il fatto che i modelli di apprendimento automatico siano spesso scatole nere è un problema comune nella ricerca sull’intelligenza artificiale, ma questo fatto potrebbe esitare altri scienziati a utilizzare il modello.
Uzzi ha spiegato che il team di ricerca spera che il modello possa essere potenzialmente utilizzato per affrontare la crisi del coronavirus, aiutando gli scienziati a comprendere più rapidamente il virus e determinare quali risultati dello studio sono promettenti. Come disse Uzzi alla fortuna:
“Vogliamo iniziare ad applicare questo al problema COVID, un problema in cui molte cose stanno diventando lassiste e dobbiamo basarci su fondamenta molto solide del lavoro precedente. Non è chiaro quale lavoro precedente verrà replicato o meno e non abbiamo tempo per le repliche. ”
Uzzi e gli altri ricercatori sperano di migliorare il modello facendo uso di ulteriori tecniche di elaborazione del linguaggio naturale, comprese le tecniche che il team ha creato per analizzare le trascrizioni delle chiamate relative agli utili aziendali. Il team di ricerca ha già creato un database di circa 30.000 trascrizioni di chiamate che analizzeranno per indizi. Se il team è in grado di costruire un modello di successo, potrebbe essere in grado di convincere gli analisti e gli investitori a utilizzare lo strumento, il che potrebbe spianare la strada ad altri usi innovativi del modello e delle sue tecniche.
