Rischi di lasciare che gli esperti di IA sperimentino con l’assistenza sanitaria
I ricercatori hanno ottenuto risultati rivoluzionari nel campo della scienza utilizzando algoritmi AI/ML come la previsione della struttura delle proteine o il controllo della fusione, ma diversi medici e consumatori temono il mantra dell’industria tecnologica di “fallire velocemente e risolverlo più tardi”.
“Non vogliamo che i ricercatori sulla schizofrenia sappiano molto sull’ingegneria del software”, ha affermato Amy Winecoff , data scientist e Center for IT Policy di Princeton. La ricerca afferma che una comprensione di base dell’apprendimento automatico e di altri principi dell’ingegneria del software potrebbe essere una caratteristica desiderabile per i medici, ma queste abilità non dovrebbero andare a scapito dell’esperienza nella conoscenza del dominio.
Molte nuove start-up e imprese vendono i loro prodotti vantandosi di aver incorporato le tecniche di AI/ML nello sviluppo. Sebbene questo sia un problema nel mercato degli sviluppatori e delle imprese, la preoccupazione più grande è l’applicazione errata degli algoritmi AI/ML nel campo della scienza e dell’assistenza sanitaria in quanto provoca conseguenze nel mondo reale.
Sayash Kapoor e Arvind Narayanan dell’Università di Princeton hanno pubblicato un documento di ricerca Leakage and the Reproducibility Crisis in ML-based Science , sottolineando il problema della “fuga di dati” in varie ricerche che utilizzano pool di dati per addestrare e testare le prestazioni del loro sviluppo.
Qual è la crisi?
Per molto tempo, prodotti sanitari basati su AI/ML come app per medici virtuali, sensori e chatbot di dottorato hanno fatto il giro del settore sanitario. Pilar Ossorio , professore all’Università del Wisconsin, ha affermato che la maggior parte dei dispositivi di intelligenza artificiale implementati anche in ambito sanitario non richiedono l’approvazione della FDA e poiché sono nuovi, richiedono una supervisione molto più attenta.
Di recente un utente di Reddit ha pubblicato il suo algoritmo rivoluzionario che rileva il cancro della pelle attraverso la fotocamera di un telefono utilizzando l’intelligenza artificiale. Nello stesso thread, diversi medici hanno sottolineato che l’imprecisione e i rischi di tali algoritmi possono portare le persone a credere nei “falsi negativi” generati dal filtro Snapchat. Un altro utente ha affermato che questi potrebbero non essere un risultato finale nella ricerca, ma dato che utilizza dati passati di immagini di cancro della pelle, potrebbe produrre risultati eccessivamente imprecisi e non riuscire a fare previsioni accurate rispetto alla biopsia.
Sebbene i ricercatori abbiano ottenuto risultati rivoluzionari nel campo della scienza utilizzando algoritmi AI/ML come la previsione della struttura delle proteine o il controllo della fusione, diversi medici e consumatori temono il mantra dell’industria tecnologica di “fallire velocemente e risolverlo più tardi”. Piccoli miglioramenti incrementali nel campo tecnologico potrebbero far sì che gli sviluppatori accolgano le loro invenzioni come sostituti dei medici, ma questo può mettere a rischio i pazienti.
Sayash Kapoor ha affermato che senza una comprensione completa delle tecniche e dei limiti dell’apprendimento automatico, i ricercatori spesso si affrettano a implementarlo nei loro sviluppi. L’idea che l’IA sia lo strumento più promettente nel settore della ricerca ha indotto scienziati e ricercatori a scommettere molto su di essa.
Kapoor si concentra sul fatto che basta un corso online di quattro ore sull’apprendimento automatico e quindi i ricercatori lo implementano nella loro ricerca senza considerare la possibilità che vada storto. Momin Malik , data scientist presso la Mayo Clinic, afferma che i ricercatori applicano l’apprendimento automatico per vari lavori che non lo richiedono obbligatoriamente.
Quanto è rischioso?
Liz Szabo in Scientific American evidenzia i problemi di molti ricercatori che non sottopongono i loro articoli alla revisione tra pari, il che eliminerebbe la maggior parte dei rischi poiché gli scienziati sarebbero in grado di esaminare il loro lavoro. Poiché la maggior parte di questi algoritmi è affidabile a causa della quantità di dati su cui vengono addestrati e non testati in studi clinici randomizzati, sono spesso descritti come ” scatole nere ” perché anche i loro sviluppatori non capiscono esattamente come funzionano.
Ad esempio, vari ricercatori hanno prodotto risultati fuorvianti con Google Flu Trends , uno strumento sviluppato nel 2008 con l’obiettivo di identificare focolai influenzali utilizzando l’apprendimento automatico che ha poi utilizzato la cronologia delle query di ricerca digitate dagli utenti web sul proprio motore di ricerca. Lo stesso algoritmo è stato utilizzato per prevedere la stagione influenzale 2013, ma ha fallito miseramente poiché ha utilizzato i termini e i dati della stagione per prevedere i risultati, riducendo così la riproducibilità dell’algoritmo e degradando la fiducia.
Un altro importante esempio menzionato dal dottor Michael Roberts dell’Università di Cambridge sono dozzine di articoli durante la pandemia di COVID-19 che affermavano di utilizzare l’apprendimento automatico per combattere la diffusione del virus ma utilizzavano dati distorti provenienti da diverse macchine di imaging. La professoressa Jessica Hullman della Northwestern University ha confrontato gli stessi problemi di apprendimento automatico con studi in psicologia che sono impossibili da replicare perché i ricercatori utilizzano pochissimi dati e interpretano male il significato statistico dei risultati.
Bob Kocher , partner dell’azienda di VC Venrock , ha affermato che la maggior parte dei prodotti di intelligenza artificiale ha poche o nessuna prova a sostegno della loro tesi . Fino a quando gli algoritmi di intelligenza artificiale non verranno utilizzati su un ampio pool di pazienti, la loro efficacia rimarrebbe incommensurabile e quindi probabilmente comporterebbe una serie di conseguenze e rischi non intenzionali. Ron Li , direttore dell’informatica medica per l’integrazione dell’intelligenza artificiale presso la Stanford Health care, ha affermato che l’utilizzo di software non testato sui pazienti è come trasformare “i pazienti in cavie inconsapevoli”.
Qual è il motivo?
Gli analisti del settore suggeriscono che gli sviluppatori di intelligenza artificiale si concentrino sulla creazione della loro tecnologia e non sullo svolgimento di prove costose e dispendiose in termini di tempo. Le grandi aziende tecnologiche come Google, Microsoft e Apple hanno enormi risorse per sviluppare e testare i loro modelli e algoritmi che gli sviluppatori nuovi e piccoli non hanno.
Un thread di Reddit sottolinea come gli sviluppatori non si fidino più di “Top Labs” per le loro ricerche a causa della differenza di risorse, apparecchiature da testare e quantità di set di dati che rendono i risultati e i modelli non riproducibili. Molte di queste grandi aziende non rendono il loro codice pubblicamente disponibile, il che si traduce nella chiusura della ricerca in un campo specifico. Questa pratica fa sì che gli sviluppatori provino cose senza una conoscenza preliminare o l’accesso a set di dati o codici, spesso con conseguente creazione di prototipi incompleti e rischiosi.
La dott.ssa Mildred Cho , professoressa di pediatria alla Stanford University, ha affermato che molti sviluppatori di intelligenza artificiale estraggono enormi quantità di dati da cartelle cliniche elettroniche che vengono quindi utilizzate per la fatturazione e non per la cura del paziente, con il risultato di costruire su un sistema rotto che è anche pesantemente pieno di errori . Con l’intelligenza artificiale che sta guadagnando attenzione nel campo della medicina e dell’assistenza sanitaria, è anche responsabilità per i medici cogliere l’occasione per conoscere questi prodotti e valutarne i potenziali rischi e porre fine al suo uso non regolamentato, per il bene dei pazienti.
DI MOHIT PANDEY da analyticsindiamag.com
