Cos’è l’IA spiegabile? Costruire fiducia nei modelli di intelligenza artificiale
Man mano che le tecnologie basate sull’intelligenza artificiale proliferano nell’azienda , il termine ” IA spiegabile ” (XAI) è entrato nel vernacolo tradizionale. XAI è un insieme di strumenti, tecniche e framework destinati ad aiutare gli utenti e i progettisti di sistemi di intelligenza artificiale a comprendere le loro previsioni, incluso come e perché i sistemi sono arrivati a loro.
Un rapporto IDC di giugno 2020 ha rilevato che i responsabili delle decisioni aziendali ritengono che la spiegabilità sia un “requisito critico” nell’intelligenza artificiale. A tal fine, la spiegabilità è stata citata come principio guida per lo sviluppo dell’IA presso la DARPA, il gruppo di esperti ad alto livello sull’IA della Commissione europea e il National Institute of Standards and Technology. Stanno emergendo startup per fornire “spiegabilità come servizio”, come Truera , e giganti della tecnologia come IBM , Google e Microsoft hanno reso open-source sia i toolkit che i metodi XAI.
Ma mentre XAI è quasi sempre più desiderabile dell’AI a scatola nera, in cui le operazioni di un sistema non sono esposte, la matematica degli algoritmi può renderlo difficile da raggiungere. A parte gli ostacoli tecnici, le aziende a volte faticano a definire la “spiegabilità” per una determinata applicazione. Un rapporto di FICO ha rilevato che il 65% dei dipendenti non è in grado di interpretare il modo in cui vengono prese le decisioni o le previsioni del modello di intelligenza artificiale, esacerbando la sfida.
Che cos’è l’IA spiegabile (XAI)?
In generale, ci sono tre tipi di spiegazioni in XAI: influenza globale, locale e sociale.
Le spiegazioni globali fanno luce su ciò che un sistema sta facendo nel suo insieme rispetto ai processi che portano a una previsione oa una decisione. Spesso includono riepiloghi di come un sistema utilizza una funzione per fare una previsione e “metainformazioni”, come il tipo di dati utilizzati per addestrare il sistema.
Le spiegazioni locali forniscono una descrizione dettagliata di come il modello ha elaborato una previsione specifica. Questi potrebbero includere informazioni su come un modello utilizza le funzionalità per generare un output o su come i difetti nei dati di input influenzeranno l’output.
Le spiegazioni dell’influenza sociale si riferiscono al modo in cui gli altri “socialmente rilevanti” – cioè gli utenti – si comportano in risposta alle previsioni di un sistema. Un sistema che utilizza questo tipo di spiegazione può mostrare un report sulle statistiche di adozione del modello, o il posizionamento del sistema da parte di utenti con caratteristiche simili (ad esempio, persone al di sopra di una certa età).
Come notano i coautori di un recente documento di ricerca di Intuit e Holon Institute of Technology , le spiegazioni globali sono spesso meno costose e difficili da implementare nei sistemi del mondo reale, il che le rende attraenti nella pratica. Le spiegazioni locali, sebbene più granulari, tendono ad essere costose perché devono essere calcolate caso per caso.
La presentazione conta in XAI
Le spiegazioni, indipendentemente dal tipo, possono essere inquadrate in modi diversi. La presentazione è importante: la quantità di informazioni fornite, così come la formulazione, la formulazione e le visualizzazioni (ad es. grafici e tabelle), potrebbero influenzare ciò che le persone percepiscono di un sistema. Gli studi hanno dimostrato che il potere delle spiegazioni dell’IA risiede tanto negli occhi di chi guarda quanto nelle menti del progettista; l’intento esplicativo e l’euristica contano tanto quanto l’obiettivo prefissato.
Come scrive il Brookings Institute : “Si consideri, ad esempio, le diverse esigenze di sviluppatori e utenti nel rendere spiegabile un sistema di intelligenza artificiale. Uno sviluppatore potrebbe utilizzare lo strumento What-If di Google per esaminare dashboard complesse che forniscono visualizzazioni delle prestazioni di un modello in diverse situazioni ipotetiche, analizzare l’importanza delle diverse funzionalità dei dati e testare diverse concezioni di equità. Gli utenti, d’altra parte, potrebbero preferire qualcosa di più mirato. In un sistema di valutazione del credito, potrebbe essere semplice informare un utente quali fattori, come un ritardo di pagamento, hanno portato a una detrazione di punti. Utenti e scenari diversi richiederanno risultati diversi”.
Uno studio accettato all’ACM del 2020 sull’interazione uomo-macchina ha scoperto che le spiegazioni, scritte in un certo modo, potrebbero creare un falso senso di sicurezza e un’eccessiva fiducia nell’IA. In diversi articoli correlati , i ricercatori scoprono che i data scientist e gli analisti percepiscono l’accuratezza di un sistema in modo diverso, con gli analisti che visualizzano in modo impreciso determinate metriche come una misura delle prestazioni anche quando non capiscono come sono state calcolate le metriche.
La scelta del tipo di spiegazione – e presentazione – non è universale. I coautori dei fattori di layout Intuit e Holon Institute of Technology da considerare nel prendere decisioni di progettazione XAI, inclusi i seguenti:
Trasparenza: il livello di dettaglio fornito
Scrutabilità: la misura in cui gli utenti possono fornire feedback per alterare il sistema di intelligenza artificiale quando è sbagliato
Fiducia: il livello di fiducia nel sistema
Persuasività: il grado in cui il sistema stesso è convincente nel far acquistare o provare agli utenti i consigli da esso forniti
Soddisfazione: il livello a cui il sistema è piacevole da usare
Comprensione dell’utente: la misura in cui un utente comprende la natura del servizio di intelligenza artificiale offerto
Schede modello, etichette dati e schede informative
Le schede modello forniscono informazioni sui contenuti e sul comportamento di un sistema. Descritte per la prima volta dall’etica dell’intelligenza artificiale Timnit Gebru, le carte consentono agli sviluppatori di comprendere rapidamente aspetti come i dati di formazione, i pregiudizi identificati, i risultati dei benchmark e dei test e le lacune nelle considerazioni etiche.
Le schede modello variano in base all’organizzazione e allo sviluppatore, ma in genere includono dettagli tecnici e grafici di dati che mostrano la ripartizione dello squilibrio di classe o l’inclinazione dei dati per campi sensibili come il genere. Esistono diversi toolkit per la generazione di schede, ma uno dei più recenti è di Google, che riporta la provenienza del modello, l’utilizzo e le valutazioni “informate sull’etica”.
ETICHETTE DATI E SCHEDE INFORMATIVE
Proposte dall’Assembly Fellowship , le etichette dati prendono ispirazione dalle etichette nutrizionali sugli alimenti, con l’obiettivo di evidenziare gli ingredienti chiave in un set di dati come metadati, popolazioni e caratteristiche anomale relative alle distribuzioni. Le etichette dati forniscono anche informazioni mirate su un set di dati in base al caso d’uso previsto, inclusi avvisi e flag pertinenti a quel particolare uso.
Sulla stessa linea, IBM ha creato ” schede informative ” per i sistemi che forniscono informazioni sulle caratteristiche chiave dei sistemi. Le schede informative rispondono a domande che vanno dal funzionamento del sistema e dai dati di addestramento agli algoritmi sottostanti, alle configurazioni e ai risultati dei test, ai benchmark delle prestazioni, ai controlli di correttezza e robustezza, agli usi previsti, alla manutenzione e alla riqualificazione. Per i sistemi di linguaggio naturale in particolare, come il GPT-3 di OpenAI , le schede informative includono dichiarazioni di dati che mostrano come un algoritmo potrebbe essere generalizzato, come potrebbe essere implementato e quali pregiudizi potrebbe contenere.
Approcci tecnici e toolkit
Esiste un numero crescente di metodi, librerie e strumenti per XAI. Ad esempio, la “propagazione della pertinenza a livello” aiuta a determinare quali caratteristiche contribuiscono maggiormente alle previsioni di un modello. Altre tecniche producono mappe di salienza in cui ciascuna delle caratteristiche dei dati di input viene valutata in base al loro contributo all’output finale. Ad esempio, in un classificatore di immagini, una mappa di salienza valuterà i pixel in base ai contributi che apportano all’output del modello di apprendimento automatico.
I cosiddetti sistemi glassbox, o versioni semplificate dei sistemi, semplificano il monitoraggio di come i diversi dati influiscono su un sistema. Sebbene non funzionino bene in tutti i domini, i semplici sistemi glassbox funzionano su tipi di dati strutturati come le tabelle statistiche. Possono anche essere utilizzati come fase di debug per scoprire potenziali errori in sistemi black-box più complessi.
Introdotto tre anni fa, Captum di Facebook utilizza le immagini per chiarire l’importanza delle caratteristiche o per eseguire un’analisi approfondita dei modelli per mostrare come i loro componenti contribuiscono alle previsioni.
A marzo 2019, OpenAI e Google hanno rilasciato la tecnica degli atlanti di attivazione per visualizzare le decisioni prese dagli algoritmi di apprendimento automatico. In un post sul blog, OpenAI ha dimostrato come gli atlanti di attivazione possono essere utilizzati per verificare il motivo per cui un modello di visione artificiale classifica gli oggetti in un certo modo, ad esempio associando erroneamente l’etichetta “locomotiva a vapore” con i serbatoi d’aria dei subacquei.
Il toolkit AI spiegabile di IBM , lanciato nell’agosto 2019, si basa su diversi modi per spiegare i risultati, come un algoritmo che tenta di evidenziare importanti informazioni mancanti nei set di dati.
Inoltre, Red Hat ha recentemente reso open source un pacchetto, TrustyAI , per il controllo dei sistemi decisionali AI. TrustyAI può analizzare i modelli per descrivere previsioni e risultati osservando un grafico di “importanza delle caratteristiche” che ordina gli input di un modello in base a quelli più importanti per il processo decisionale.
Trasparenza e carenze XAI
Un briefing politico su XAI da parte della Royal Society fornisce un esempio degli obiettivi che dovrebbe raggiungere. Tra l’altro, XAI dovrebbe dare agli utenti la certezza che un sistema è uno strumento efficace per lo scopo e soddisfare le aspettative della società su come alle persone viene concessa l’agenzia nel processo decisionale. Ma in realtà, XAI spesso fallisce , aumentando i differenziali di potenza tra coloro che creano sistemi e coloro che ne sono influenzati.
Un sondaggio del 2020 condotto da ricercatori dell’Alan Turing Institute, della Partnership on AI e altri ha rivelato che la maggior parte delle implementazioni XAI viene utilizzata internamente per supportare gli sforzi di ingegneria piuttosto che rafforzare la fiducia o la trasparenza con gli utenti. I partecipanti allo studio hanno affermato che era difficile fornire spiegazioni agli utenti a causa dei rischi per la privacy e delle sfide tecnologiche e che hanno faticato a implementare la spiegazione perché mancavano di chiarezza sui suoi obiettivi.
Un altro studio del 2020 , incentrato sull’interfaccia utente e sui professionisti del design presso IBM che lavorano su XAI, ha descritto le attuali tecniche XAI come “non all’altezza delle aspettative” e in contrasto con gli obiettivi organizzativi come la protezione dei dati proprietari.
Brookings scrive: “[W] mentre ci sono numerosi diversi metodi di spiegabilità attualmente in funzione, si mappano principalmente su un piccolo sottoinsieme degli obiettivi sopra delineati. Due degli obiettivi ingegneristici — garantire l’efficacia e migliorare le prestazioni — sembrano essere i meglio rappresentati. Altri obiettivi, tra cui il supporto alla comprensione degli utenti e alla comprensione degli impatti sociali più ampi, sono attualmente trascurati”.
La legislazione futura come l’AI Act dell’Unione Europea, che si concentra sull’etica, potrebbe spingere le aziende a implementare XAI in modo più completo. Allo stesso modo, potrebbe anche cambiare l’opinione pubblica sulla trasparenza dell’IA. In un rapporto del 2021 di CognitiveScale, il 34% dei responsabili delle decisioni di livello dirigenziale ha affermato che la capacità di intelligenza artificiale più importante è “spiegabile e affidabile”. E l’87% dei dirigenti ha dichiarato a Juniper in un recente sondaggio di ritenere che le organizzazioni abbiano la responsabilità di adottare politiche che minimizzino gli impatti negativi dell’IA.
Oltre all’etica, c’è una motivazione aziendale per investire nelle tecnologie XAI. Uno studio di Capgemini ha scoperto che i clienti ricompenseranno le organizzazioni che praticano l’IA etica con maggiore lealtà, più affari e persino la volontà di difenderle, e puniranno quelle che non lo fanno.
