Si è parlato molto di come rendere l’apprendimento automatico più spiegabile in modo che gli stakeholder o i clienti possano liberarsi dello scetticismo riguardo alla tradizionale metodologia della scatola nera. Tuttavia, non ci sono state molte discussioni su come distribuire questi sistemi nelle condotte. Quindi, per scoprire come viene implementato, un gruppo di ricercatori ha condotto un sondaggio.
Nella sezione successiva, esamineremo alcuni risultati e pratiche per la distribuzione, come raccomandato dai ricercatori della Carnegie Mellon University, che hanno pubblicato un lavoro in collaborazione con i migliori istituti. Nel loro sondaggio condotto con vari esperti di dominio, gli autori hanno cercato di rispondere a domande come:
Quali sono i punti deboli nella distribuzione dei modelli ML e la spiegabilità aiuta?
Che tipo di spiegazioni vengono utilizzate (ad es. Linguaggio basato sulle caratteristiche, basato sul campione, controfattuale o naturale)?
In che modo un’organizzazione decide quando e dove utilizzare le spiegazioni del modello?
Cosa hanno da dire i praticanti
Durante il loro sondaggio, i ricercatori hanno riscontrato alcune preoccupazioni come il debug dei modelli, il monitoraggio dei modelli e la trasparenza tra molti altri durante le interviste che hanno condotto con le organizzazioni come parte del loro lavoro.
Lo studio ha rilevato che la maggior parte dei data scientist ha difficoltà a eseguire il debug delle scarse prestazioni del modello. Identificare prestazioni scadenti, progettare nuove funzionalità, eliminare funzionalità ridondanti e raccogliere più dati per migliorare le prestazioni del modello è uno dei compiti cruciali.
“LA FUNZIONE A INFLUIRÀ SULLA FUNZIONE B, [POICHÉ] LA FUNZIONE A POTREBBE INFLUIRE NEGATIVAMENTE SULLA FUNZIONE B – COME POSSO ATTRIBUIRE [IMPORTANZA IN PRESENZA DI] CORRELAZIONI? “
In generale, i data scientist che sono stati intervistati sono dell’opinione che le metodologie spiegabili possano avere vantaggi più ampi in quanto possono essere comunicate a un pubblico più vasto e non solo alle parti interessate immediate. In breve, aiuta a condividere le intuizioni all’interno dell’organizzazione senza la necessità di assistenza di uno specialista in ogni scenario.
Leggi anche 10 scoperte nell’intelligenza artificiale che hanno alle stelle la sua popolarità in questo decennio
Nel caso di organizzazioni finanziarie in cui i requisiti normativi di solito sono relativamente più elevati, i modelli ML implementati devono passare attraverso un audit interno. I data scientist ottengono che questi modelli vengano esaminati da rischi interni e team legali.
“CAPIRE I FATTORI CAUSALI È IL SANTO GRAAL DELLA SPIEGABILITÀ”
Oltre al debug e al controllo dei modelli, i data scientist hanno anche riconosciuto l’importanza di considerare la privacy dei dati nel contesto della spiegabilità. Nel corso di rendere i modelli più spiegabili, non possiamo mettere in pericolo la privacy. Che si tratti di diagnosi medica o stima del rischio con carta di credito, la quantità di informazioni personali che vengono elaborate può essere molto sensibile e questo viene affrontato nelle organizzazioni che prendono sul serio l’implementazione della spiegabilità.
Uno degli scopi vitali delle spiegazioni è migliorare la comprensione da parte degli ingegneri ML dei loro modelli al fine di aiutarli a perfezionare e migliorare le prestazioni. Poiché i modelli di apprendimento automatico sono “a duplice uso”, gli autori suggeriscono che dovremmo essere consapevoli che in alcune impostazioni, spiegazioni o altri strumenti potrebbero consentire agli utenti malintenzionati di aumentare le capacità e le prestazioni di sistemi indesiderati.
Consigli dall’industria
Per qualsiasi organizzazione, è importante identificare gli stakeholder; quelli sono influenzati dagli output del modello. Le parti interessate hanno esigenze diverse di spiegabilità. Queste parti interessate si dividono in due categorie:
Consumo statico: la spiegazione verrà utilizzata come controllo di integrità una tantum per alcuni stakeholder o mostrata ad altri stakeholder come ragionamento per una previsione particolare?
Aggiornamenti dinamici del modello: la spiegazione verrà utilizzata per ottenere feedback dagli stakeholder su come il modello dovrebbe essere aggiornato per allinearlo meglio con la loro intuizione?
Il primo passo per rendere le cose più spiegabili, hanno scritto gli autori, è rendere i modelli più semplici. Sebbene il deep learning abbia guadagnato popolarità negli ultimi anni, molte organizzazioni usano ancora le classiche tecniche ML (ad es. Regressione logistica, macchine vettoriali di supporto). Le tecniche agnostiche dei modelli possono essere utilizzate per i modelli tradizionali, ma sono “probabilmente eccessive” per spiegare i modelli ML basati sul kernel, secondo uno scienziato, poiché i metodi agnostici possono essere costosi dal punto di vista computazionale e portare a spiegazioni scarsamente approssimative.
Ciò consente la segmentazione dei processi. Tuttavia, i modelli complessi sono più flessibili e possono essere utilizzati per scalare in tempo reale.
In questo lavoro, gli autori hanno cercato di affrontare l’altra estremità della pipeline, di cui si discute raramente: la distribuzione. Il debito tecnico e le sfide, che sono specifici dei casi d’uso, si accumulano nel lungo periodo e possono rendere difficile assorbire nuove strategie come modelli spiegabili. Questo lavoro mostra che le organizzazioni hanno già iniziato a prendere sul serio la spiegabilità e qui ci sono alcuni punti chiave di questo documento:
Interpretazioni a livello di funzionalità, attribuzioni di caratteristiche o mappe di salienza, questo metodo è di gran lunga la tecnica spiegabile più utilizzata e più studiata
L’importanza delle funzionalità non viene mostrata agli utenti finali, ma viene utilizzata dagli ingegneri dell’apprendimento automatico come controllo di integrità
Le organizzazioni sono interessate a soluzioni di spiegazione controfattuale poiché il metodo sottostante è flessibile e tali spiegazioni sono facili da comprendere per gli utenti finali
Sebbene la conoscenza del dominio eliminerebbe il singhiozzo iniziale, affermano gli autori, la domanda su chi arriva a scegliere rimane ancora grande.
