Scienziati internazionali chiedono maggiore trasparenza nella ricerca sull’IA
Un gruppo di scienziati internazionali provenienti da varie istituzioni, tra cui il Princess Margaret Cancer Center, l’Università di Toronto, la Stanford University, la Johns Hopkins, la Harvard School of Public Health e il Massachusetts Institute of Technology, chiede maggiore trasparenza nella ricerca sull’intelligenza artificiale (AI). La forza principale alla base di questo invito è liberare importanti scoperte che potrebbero aiutare ad accelerare il trattamento del cancro basato sulla ricerca.
L’articolo in cui gli scienziati hanno invitato le riviste scientifiche a innalzare i loro standard in materia di trasparenza tra i ricercatori computazionali è stato pubblicato su Nature il 14 ottobre 2020. Il gruppo ha anche sostenuto che i loro colleghi dovrebbero rilasciare codice, modello e ambienti computazionali nelle pubblicazioni .
Il documento era intitolato ” Trasparenza e riproducibilità nell’intelligenza artificiale “.
Rilascio dei dettagli dello studio sull’IA
Il dottor Benjamin Haibe-Kains è uno scienziato senior presso il Princess Margaret Cancer Center e il primo autore della pubblicazione.
“Il progresso scientifico dipende dalla capacità dei ricercatori di esaminare i risultati di uno studio e riprodurre i risultati principali da cui imparare”, afferma il dottor Haibe-Kains. “Ma nella ricerca computazionale, non è ancora un criterio diffuso affinché i dettagli di uno studio sull’IA siano completamente accessibili. Questo è dannoso per il nostro progresso. ”
Le preoccupazioni sono sorte in seguito a uno studio di Google Health pubblicato da McKinney et al. in un’importante rivista scientifica nel 2020, in cui è stato affermato che un sistema di intelligenza artificiale potrebbe superare i radiologi umani in robustezza e velocità quando si tratta di screening del cancro al seno. Lo studio ha ricevuto molta attenzione da parte dei media in varie pubblicazioni importanti.
Incapacità di riprodurre modelli
Una delle principali preoccupazioni emerse in seguito allo studio era che non descriveva a fondo i metodi utilizzati, così come il codice e i modelli. Questa mancanza di trasparenza ha fatto sì che i ricercatori non potessero apprendere come funziona il modello, con il risultato che il modello non può essere utilizzato da altre istituzioni.
“Sulla carta e in teoria, McKinney et al. lo studio è bello “, dice il dottor Haibe-Kains. “Ma se non possiamo imparare da esso, ha poco o nessun valore scientifico.”
Il dottor Haibe-Kains è stato nominato congiuntamente professore associato di biofisica medica presso l’Università di Toronto. È anche affiliato al Vector Institute for Artificial Intelligence.
“I ricercatori sono più incentivati a pubblicare le loro scoperte piuttosto che spendere tempo e risorse per garantire che il loro studio possa essere replicato”, continua il dottor Haibe-Kains. “Le riviste sono vulnerabili al ‘clamore’ dell’IA e possono abbassare gli standard per accettare articoli che non includono tutto il materiale necessario per rendere lo studio riproducibile, spesso in contraddizione con le loro stesse linee guida.”
Questo ambiente significa che i modelli di intelligenza artificiale potrebbero impiegare più tempo per raggiungere le impostazioni cliniche e i modelli non possono essere replicati o appresi dai ricercatori.
Il gruppo di ricercatori ha proposto vari framework e piattaforme per porre rimedio a questo problema e consentire la condivisione dei metodi.
“Abbiamo grandi speranze per l’utilità dell’IA per i nostri malati di cancro”, afferma il dottor Haibe-Kains. “Condividere e costruire sulle nostre scoperte: questo è un vero impatto scientifico”.
