I ricercatori di intelligenza artificiale sviluppano un metodo rapido per calcolare gli intervalli di fiducia, segnalando quando il modello non dovrebbe essere attendibile
I ricercatori del MIT hanno recentemente sviluppato una tecnica che consente ai modelli di rete di deep learning di calcolare rapidamente i livelli di confidenza, il che potrebbe aiutare i data scientist e altri utenti di IA a sapere quando fidarsi delle previsioni rese da un modello.
I sistemi di intelligenza artificiale basati su reti neurali artificiali sono responsabili di sempre più decisioni in questi giorni, comprese molte decisioni che riguardano la salute e la sicurezza delle persone. Per questo motivo, le reti neurali dovrebbero disporre di un metodo per stimare la fiducia nei loro risultati, consentendo ai data scientist di dire quanto siano affidabili le loro previsioni. Recentemente, un team di ricercatori di Harvard e del MIT ha progettato un modo rapido per le reti neurali di generare un’indicazione della fiducia di un modello insieme alle sue previsioni.
I modelli di deep learning sono diventati sempre più sofisticati negli ultimi dieci anni e ora possono facilmente superare gli esseri umani nelle attività di classificazione dei dati. I modelli di apprendimento profondo vengono utilizzati in campi in cui la salute e la sicurezza delle persone possono essere a rischio in caso di guasto, guidando veicoli autonomi e diagnosticare condizioni mediche dalle scansioni. In questi casi, non è sufficiente che un modello sia accurato al 99%, l’1% delle volte in cui il modello fallisce ha il potenziale per portare alla catastrofe. Di conseguenza, deve esserci un modo in cui i data scientist possono determinare quanto sia affidabile una determinata previsione.
Esistono diversi modi in cui è possibile generare un intervallo di confidenza insieme alle previsioni delle reti neurali, ma i metodi tradizionali di stima dell’incertezza per una rete neurale sono piuttosto lenti e computazionalmente costosi. Le reti neurali possono essere incredibilmente grandi e complesse, piene di miliardi di parametri. La semplice generazione di previsioni può essere computazionalmente costosa e richiedere una notevole quantità di tempo, mentre la generazione di un livello di confidenza per le previsioni richiede ancora più tempo. La maggior parte dei metodi precedenti per quantificare l’incertezza si è basata sul campionamento o sulla gestione ripetuta di una rete per ottenere una stima della sua affidabilità. Ciò non è sempre fattibile per applicazioni che richiedono traffico ad alta velocità.
Come riportato da MIT News , Alexander Amini guida il gruppo combinato di ricercatori del MIT e di Harvard, e secondo Amini il metodo sviluppato dai loro ricercatori accelera il processo di generazione di stime di incertezza utilizzando una tecnica chiamata “regressione probatoria profonda”. Amini ha spiegato tramite il MIT che i data scientist richiedono sia modelli ad alta velocità sia stime affidabili dell’incertezza in modo da poter distinguere modelli inaffidabili. Al fine di preservare sia la velocità del modello che di generare una stima dell’incertezza, i ricercatori hanno progettato un modo per stimare l’incertezza da una singola esecuzione del modello.
I ricercatori hanno progettato il modello di rete neurale in modo tale da generare una distribuzione probabilistica insieme a ogni decisione. La rete mantiene le prove per le sue decisioni durante il processo di addestramento, generando una distribuzione di probabilità basata sulle prove. La distribuzione probatoria rappresenta la fiducia del modello e rappresenta l’incertezza sia per la decisione finale del modello che per i dati di input originali. Catturare l’incertezza sia per i dati di input che per le decisioni è importante, poiché la riduzione dell’incertezza dipende dalla conoscenza della fonte dell’incertezza.
I ricercatori hanno testato la loro tecnica di stima dell’incertezza applicandola a un’attività di visione artificiale. Dopo che il modello è stato addestrato su una serie di immagini, ha generato sia previsioni che stime di incertezza. La rete ha proiettato correttamente un’elevata incertezza per i casi in cui è stata effettuata la previsione sbagliata. “Era molto calibrato sugli errori che la rete fa, che riteniamo fosse una delle cose più importanti nel giudicare la qualità di un nuovo stimatore dell’incertezza”, ha detto Amini riguardo ai risultati dei test del modello.
Il team di ricerca ha continuato a condurre più test con la loro architettura di rete. Per mettere alla prova la tecnica, hanno anche testato i dati su dati “fuori distribuzione”, set di dati composti da oggetti che la rete non aveva mai visto prima. Come previsto, la rete ha riportato una maggiore incertezza per questi oggetti invisibili. Quando veniva addestrata su ambienti interni, la rete mostrava un’elevata incertezza quando veniva testata su immagini provenienti da ambienti esterni. I test hanno dimostrato che la rete potrebbe evidenziare quando le sue decisioni erano soggette a elevata incertezza e non dovrebbe essere considerata attendibile in determinate circostanze ad alto rischio.
Il team di ricerca ha anche riferito che la rete poteva discernere quando le immagini erano state manipolate. Quando il team di ricerca ha alterato le foto con rumore contraddittorio, la rete ha etichettato le immagini appena alterate con stime di alta incertezza, nonostante il fatto che l’effetto fosse troppo sottile per essere visto dall’osservatore umano medio.
Se la tecnica si dimostra affidabile, una profonda regressione probatoria potrebbe migliorare la sicurezza dei modelli di IA in generale. Secondo Amini, una profonda regressione probatoria potrebbe aiutare le persone a prendere decisioni attente quando utilizzano modelli di intelligenza artificiale in situazioni rischiose. Come ha spiegato Amini tramite MIT News :
“Stiamo iniziando a vedere molti di più di questi modelli [di reti neurali] uscire dal laboratorio di ricerca e nel mondo reale, in situazioni che stanno toccando gli esseri umani con conseguenze potenzialmente pericolose per la vita. Qualsiasi utente del metodo, che si tratti di un medico o di una persona sul sedile del passeggero di un veicolo, deve essere consapevole di qualsiasi rischio o incertezza associato a tale decisione “.
