Le centinaia di falle nei modelli di intelligenza artificiale costruiti per aiutare ad affrontare il COVID-19 potrebbero essere viste semplicemente come una conseguenza degli sforzi in rapido movimento per fermare una crisi. Tuttavia, gli accademici che denunciano questi difetti vogliono che tu senta il loro allarme. Le loro voci sono esattamente ciò che più leader aziendali e politici hanno bisogno di sentire mentre gli Stati Uniti adottano sempre più l’IA per uso medico e commerciale.
Casey Ross ha recentemente riportato su STAT come la pandemia abbia dato il via a una raffica di modellismo. Tutti volevano dare un contributo positivo e contribuire ad alleviare le preoccupazioni derivanti dalla crisi. Hanno chiesto: come possiamo utilizzare l’apprendimento automatico per rilevare COVID-19? Come possiamo prevedere chi potrebbe essere gravemente malato? E possiamo costruire modelli che saranno robusti attraverso nuove varianti del virus? Hanno riportato i loro sforzi per costruire sulle opere degli altri e imparare dalla comunità di intelligenza artificiale.
Un anno dopo, l’Università di Cambridge ha esaminato questi modelli e ha scoperto che ognuno degli oltre 400 studiati era fatalmente difettoso, compresi quelli pubblicati nelle principali riviste scientifiche.
Cos’è un difetto fatale?
I ricercatori hanno trovato due tipi generali di difetti. Il primo aveva a che fare con i dati. Troppo spesso, i modellisti hanno utilizzato piccoli set di dati che non rappresentavano l’universo di pazienti che i modelli avrebbero dovuto rappresentare.
Il secondo tipo di difetto aveva a che fare con la divulgazione di informazioni limitate. I modellisti non sono riusciti a divulgare le fonti di dati, le tecniche utilizzate per modellare i dati e il potenziale di distorsione nei dati di input o negli algoritmi utilizzati per addestrare i loro modelli.
Ross osserva che la pratica di non divulgare le fonti di dati non si limita solo a questi modelli COVID-19. Il quarantacinque percento dei prodotti di IA medica approvati dalla Food and Drug Administration degli Stati Uniti tra il 2012 e il 2020 non ha rivelato la quantità di dati utilizzati per convalidare l’accuratezza del prodotto.Perché i difetti contano?
I team che creano l’intelligenza artificiale hanno a disposizione strumenti così validi nel 2021 che molti possono accedere ad algoritmi precodificati e iniziare ad addestrare i dati. Questo è un progresso notevole.
Ma i modelli buoni, robusti, rigorosi e difendibili sono ancora difficili e richiedono tempo. Se i dati di input non sono buoni, anche l’output di un modello non sarà valido. Oltre a ciò, gli errori umani rilevati dai ricercatori di Cambridge, come l’utilizzo degli stessi dati per la formazione e la convalida, sono semplicemente indifendibili.
Vedo diversi motivi per cui la proliferazione di questi tipi di modelli di intelligenza artificiale è preoccupante. I modelli imprecisi e non rintracciabili possono portare rapidamente a una scarsa cura del paziente e a conseguenze negative sulla salute e sui costi. Il sistema sanitario degli Stati Uniti, o qualsiasi sistema sanitario, semplicemente non può permettersi un’ampia erosione della fiducia del pubblico nell’uso delle tecnologie di intelligenza artificiale per la cura dei pazienti.
In senso operativo, una scienza dei dati imperfetta può portare a errori costosi, come sperimentazioni cliniche ingiustificate che potrebbero facilmente sprecare da tre a cinque anni di tempo di ricerca. Potremmo finire per perdere efficacia ed efficienza, proprio le cose che questi modelli dovrebbero migliorare.
Cambia la tua mentalità su dove applicare i controlli di sicurezza
Già, la scienza dei dati veramente buona è appena distinguibile dal rumore. Allora, qual è la soluzione?
Considera questo: abbiamo protezioni per i consumatori da difetti in altri servizi. Prima di mangiare in un ristorante, ad esempio, vuoi sapere se qualcuno lo ha ispezionato e lo ha ritenuto igienico. Prima di salire su un ascensore, presumi che gli ispettori abbiano superato i controlli di sicurezza. Quando acquisti un condominio, ti aspetti che il costruttore segua i codici di sicurezza degli edifici.
L’unico modo in cui ci sentiamo a nostro agio in uno di questi scenari è perché gli standard comuni per la sicurezza hanno contribuito a costruire la fiducia del pubblico nel tempo. I modelli di intelligenza artificiale odierni possono seguire le migliori pratiche, ma non sono soggetti a nessuna serie comune di standard, sebbene ci siano alcune buone proposte di lavoro per cambiare questa situazione.
Aspettatevi che il modello normativo sembri presto diverso
Negli Stati Uniti, il modello normativo per determinare se i prodotti medici fisici soddisfano rigorosi standard di qualità non si trasferisce completamente all’IA medica. A differenza di un farmaco o di un dispositivo medico standard, i sistemi di intelligenza artificiale cambiano costantemente man mano che vengono alimentati nuovi dati.
Semplicemente non è scalabile per un estraneo verificare come i dati possono modificare un modello o se gli algoritmi per produrre decisioni o previsioni producono costantemente i risultati attesi.
L’ex capo della FDA Scott Gottlieb lo ha riconosciuto nel 2017 quando l’agenzia ha iniziato a tracciare un futuro modello normativo. La FDA continua a studiare cosa servirà per precertificare produttori e fornitori di software sulla base di una cultura della qualità e degli impegni per monitorare le prestazioni reali dell’IA sul mercato.
La filosofia per certificare l’azienda e non solo ogni app è come il modello del ristorante. Una volta certificato il ristorante, non è necessario controllare ogni piatto. Questo modello affidabile ma scalabile può ridurre al minimo i rischi e guidare una cultura aziendale verso un’IA responsabile.
Oltre la divulgazione di base
Oltre alla trasparenza sulle origini dati e sui metodi di modellazione, considerare quanto segue :
Potenziali pregiudizi : condividi ciò che hai fatto per evitare di creare o rafforzare i pregiudizi. Descrivi i controlli che hai messo in atto per la distorsione nei dati di input e nella progettazione dell’algoritmo. Comunica in che modo gli utenti del sistema di intelligenza artificiale possono segnalare i problemi relativi ai pregiudizi.
Recensioni prima che un modello vada in libertà : il tuo sistema di intelligenza artificiale è stato sottoposto a un comitato di revisione prima di rilasciarlo in libertà? Per i prodotti di IA medica, documentare i requisiti per le approvazioni normative e lo stato di tali approvazioni. I modellisti di organizzazioni più grandi possono disporre di un centro di eccellenza AI per aiutarli a soddisfare gli standard più elevati della loro organizzazione.
Meccanismi che testano la qualità nel tempo : la validità e l’utilità di qualsiasi modello possono cambiare nel tempo e man mano che le persone ei dati interagiscono. Condividi i controlli che hai messo in atto per assicurarti che il tuo modello rimanga valido nel tempo e tra le popolazioni.
È sempre bene essere scettici e mettere in dubbio il modo in cui un sistema deriva le sue decisioni e previsioni. Eppure, senza queste pratiche di trasparenza, rischiamo di mettere al mondo l’intelligenza artificiale che può portare rapidamente alla disillusione.
