Dovremmo davvero preoccuparci della spiegazione nell’IA?
Le attuali tecniche di spiegabilità sono state solo in grado di produrre “descrizioni ampie di come funziona il sistema di intelligenza artificiale in senso generale”, ma quando è stato chiesto di giustificare come venivano prese le decisioni individuali, le spiegazioni erano “inaffidabili e superficiali”.
Nel recente passato, non è un segreto che l’IA, in particolare gli algoritmi di deep learning all’avanguardia, siano stati afflitti dalla crisi della spiegabilità . Nel maggio 2021, due ricercatori dello scienziato informatico Su-In Lee ‘s Lab of Explainable AI for Biological and Medical Sciences di Seattle hanno pubblicato un articolo su Nature intitolato “AI for radiographic COVID-19 detection seleziona scorciatoie sul segnale”, discutendo il lontano -raggiungere gli effetti di questo problema.
Con il crescente utilizzo dell’IA in settori critici come l’assistenza sanitaria e la finanza, la spiegazione è diventata ancora più critica. Nel periodo di massimo splendore della crisi del COVID-19 , i ricercatori hanno iniziato a sviluppare sistemi di intelligenza artificiale per rilevare con precisione il COVID-19. Ma la tecnica utilizzata dai sistemi è rimasta dietro le quinte. Quando sono stati testati in laboratorio, questi sistemi hanno funzionato perfettamente, ma quando sono stati utilizzati negli ospedali hanno fallito. Il documento spiegava come utilizzare con successo l’IA nell’imaging medico, era essenziale rompere la ” scatola nera ” nei modelli ML.
I modelli devono essere affidabili e interpretabili. Questo è andato tutto bene. Fino a quando l’ IA spiegabile non è diventata un punto di marketing per la maggior parte delle aziende che vendono questi sistemi di intelligenza artificiale. Tuttavia, sembrava che l’IA non avesse solo un problema di spiegabilità , ma che la stessa spiegabilità avesse un problema.
Mappe di salienza prodotte con metodi popolari, Fonte: Lancet
Problemi attuali con le tecniche di spiegabilità
L’anno scorso, a novembre, Lancet Digital Health ha pubblicato un articolo dello scienziato informatico del MIT Marzyeh Ghassemi affermando che l’IA spiegabile di per sé non poteva essere compresa facilmente. Le attuali tecniche di spiegabilità sono state solo in grado di produrre “descrizioni ampie di come funziona il sistema di intelligenza artificiale in senso generale”, ma quando è stato chiesto di giustificare come venivano prese le decisioni individuali, le spiegazioni erano “inaffidabili e superficiali”.
Il documento prosegue utilizzando un altro metodo di spiegabilità comunemente usato chiamato “mappe salienti” come esempio. Queste mappe producono una mappa termica su un’immagine dell’algoritmo ed evidenziano le parti che dipendevano maggiormente dall’IA per una previsione. L’articolo dimostra come una mappa di calore sia giunta alla conclusione che il paziente avesse la polmonite ma non poteva spiegare perché la pensasse così.
Mappa termica prodotta da un metodo esplicativo post-hoc per un modello di apprendimento profondo progettato per rilevare la polmonite nelle radiografie del torace , Fonte: Lancet
Modelli interpretabili non spiegabili AI
Anche esperti di altri settori hanno chiesto che l’IA spiegabile sia vista da una prospettiva diversa. Agus Sudjianto , vicepresidente esecutivo e capo del rischio modello aziendale di Wells Fargo , ha detto così: “Ciò di cui abbiamo bisogno è un machine learning interpretabile e non spiegabile”.
Sudjianto riconosce pienamente che i modelli possono fallire e quando falliscono in un settore vitale e di diretto impatto come quello bancario , possono avere gravi conseguenze su un cliente. Ad esempio, qualcuno che ha urgente bisogno di un prestito potrebbe vedersi rifiutare la richiesta.
“Questo è un compito impegnativo per modelli complessi di machine learning e avere un modello spiegabile è un fattore chiave. La spiegabilità dell’apprendimento automatico è diventata un’area attiva della ricerca accademica e un’industria a sé stante. Nonostante tutti i progressi compiuti, gli esplicatori di apprendimento automatico sono ancora carichi di debolezza e complessità”, ha affermato. Sudjianto prosegue affermando che ciò di cui il ML aveva bisogno in questo caso erano modelli ML interpretabili e autoesplicativi.
Agus Sudjianto, Executive Vice President, Head of Corporate Model Risk, Wells Fargo
Un nuovo approccio
In un articolo co-autore di Linwei Hu , Jie Chen e Vijayan N. Nair di Wells Fargo, intitolato “Using Model-Based Trees with Boosting to Fit Low-Order Functional ANOVA Models”, un nuovo approccio per risolvere il problema dell’interpretabilità è stato proposto.
Le prime soluzioni all’interpretabilità erano tutte post hoc e includevano riepiloghi a bassa dimensione per modelli ad alta dimensione che erano complessi. Questi erano in definitiva incapaci di dare un’immagine corposa. La seconda soluzione fornita per l’interpretazione del modello consisteva nell’utilizzare modelli surrogati per adattare modelli più semplici per trarre informazioni dai modelli originali che erano complessi.
Esempi di questi modelli sono LIME, proposto per la prima volta in un articolo del 2016 da Marco Tulio Riberio , che si basa su modelli lineari e offre spiegazioni locali; e alberi localmente additivi per una spiegazione globale.
Un altro nuovo percorso è stato quello di utilizzare algoritmi ML per adattarsi a questi modelli facilmente interpretabili che sono estensioni dei modelli additivi generalizzati (GAM). La logica alla base dell’utilizzo di questi algoritmi era di rallentare l’utilizzo di algoritmi normalmente complessi per applicazioni su larga scala con riconoscimento di modelli e utilizzare invece modelli non parametrici di ordine basso in grado di capire la struttura.
Un altro documento coautore di Sudjianto ha spiegato perché i modelli di apprendimento automatico (IML) intrinsecamente interpretabili dovrebbero essere adottati a causa della loro trasparenza piuttosto che delle scatole nere poiché la spiegabilità indipendente dal modello non è davvero facilmente spiegabile o difesa sotto il controllo delle autorità di regolamentazione.
L’architettura GAMI-Net, soggetta a a) vincoli di sparsità sul numero di effetti principali e
interazioni a coppie, b) ereditarietà sulle interazioni a coppie candidate; e c) chiarezza marginale per evitare confusione tra
gli effetti principali e le interazioni a coppie dei loro figli , Fonte: ricerca
Lo studio ha suggerito un modello qualitativo basato sugli effetti delle caratteristiche e sui vincoli dell’architettura del modello. Lo studio ha elencato i principi di progettazione per lo sviluppo di modelli IML di alta qualità, con esempi di test eseguiti su ExNN, GAMI-Net, SIMTree e così via. Alla fine, è stato dimostrato che questi modelli hanno una maggiore applicazione pratica in settori ad alto rischio come il settore finanziario.
Quindi, la spiegabilità dell’IA è diventata in gran parte una pratica fraudolenta? Sudjianto sembra pensarla così. “C’è una mancanza di comprensione delle debolezze e dei limiti della spiegabilità post hoc che è un problema. Ci sono parti che promuovono la pratica che sono meno che oneste, il che ha fuorviato gli utenti. Dalla democratizzazione degli strumenti di spiegazione, le cose sono peggiorate perché gli utenti non sono formati e non sono consapevoli del problema”, ha affermato.
Sudjianto ritiene inoltre che il problema risieda sia nel concetto di IA spiegabile che nelle tecniche prevalenti. “Gli strumenti esplicativi post hoc non sono affidabili. Le tecniche danno un falso senso di sicurezza. Per le applicazioni ad alto rischio, le persone dovrebbero progettare in termini di interpretabilità”, ha aggiunto.
