L’incertezza nel contesto dell’IA può essere difficile da cogliere all’inizio. Ad alto livello, incertezza significa lavorare con informazioni imperfette o incomplete, ma ci sono innumerevoli potenziali fonti di incertezza. Alcuni, come informazioni mancanti, informazioni inaffidabili, informazioni contrastanti, informazioni rumorose e informazioni confuse, sono particolarmente difficili da affrontare senza una comprensione delle cause. Anche i sistemi di intelligenza artificiale meglio addestrati non possono avere ragione il 100% delle volte. E nell’impresa, le parti interessate devono trovare modi per stimare e misurare l’incertezza nella misura del possibile.
Si scopre che l’incertezza non è necessariamente una cosa negativa, se può essere comunicata chiaramente. Considera questo esempio dell’ingegnere di machine learning Dirk Elsinghorst: un’intelligenza artificiale è addestrata a classificare gli animali in un safari per aiutare i frequentatori di safari a rimanere al sicuro. Il modello si allena con i dati disponibili, dando agli animali una classificazione “rischiosa” o “sicuro”. Ma poiché non incontra mai una tigre, classifica le tigri come sicure, facendo un confronto tra le strisce sulle tigri e sulle zebre. Se il modello fosse in grado di comunicare l’incertezza, gli esseri umani potrebbero intervenire per alterare il risultato.
L’incertezza spiegata
Ci sono due tipi comuni di incertezza nell’IA: aleatoria ed epistemica. L’aleatorico rappresenta il caso, come le differenze in un ambiente e i livelli di abilità delle persone che raccolgono i dati di formazione. L’epistemica fa parte del modello stesso: i modelli troppo semplici nel design possono avere un’elevata variazione nel risultato.
Le osservazioni, o dati di esempio, da un dominio o da un ambiente spesso contengono variabilità. Tipicamente definita “rumore”, la variabilità può essere dovuta a cause naturali o a un errore e influisce non solo sulle misurazioni da cui l’AI apprende, ma anche sulle previsioni che fa.
Nel caso di un set di dati utilizzato per addestrare l’intelligenza artificiale a prevedere le specie di fiori, ad esempio, il rumore potrebbe essere di fiori più grandi o più piccoli del normale o errori di battitura quando si annotano le misurazioni di vari petali e steli.
Un’altra fonte di incertezza deriva dalla copertura incompleta di un dominio. Nelle statistiche, i campioni vengono raccolti casualmente e la distorsione è in una certa misura inevitabile. Gli scienziati dei dati devono arrivare a un livello di varianza e distorsione che garantisca che i dati siano rappresentativi del compito per cui verrà utilizzato un modello.
Estendendo l’esempio di classificazione dei fiori, uno sviluppatore potrebbe scegliere di misurare la dimensione dei fiori selezionati casualmente in un singolo giardino. L’ambito è limitato a un giardino, che potrebbe non essere rappresentativo di giardini in altre città, stati, paesi o continenti.
Come scrive Jason Brownlee di Machine Learning Mastery : “Ci saranno sempre alcuni casi non osservati. Ci sarà parte del dominio problematico per il quale non abbiamo copertura. Non importa quanto bene incoraggiamo i nostri modelli a generalizzare, possiamo solo sperare di poter coprire i casi nel set di dati di addestramento e i casi salienti che non lo sono.
Un’altra dimensione dell’incertezza sono gli errori. Un modello presenterà sempre qualche errore, introdotto durante le fasi di preparazione, addestramento o previsione dei dati. L’errore potrebbe riferirsi a previsioni o omissioni imperfette, in cui i dettagli vengono tralasciati o astratti. Ciò potrebbe essere desiderabile: selezionando modelli più semplici rispetto a modelli che potrebbero essere altamente specializzati per i dati di addestramento, il modello si generalizzerà a nuovi casi e avrà prestazioni migliori.
Gestire l’incertezza
Date tutte le fonti di incertezza, come può essere gestita, in particolare in un ambiente aziendale? Probabilità e statistiche possono aiutare a rivelare la variabilità nelle osservazioni rumorose. Possono anche far luce sulla portata delle osservazioni, oltre a quantificare la varianza nelle prestazioni dei modelli predittivi quando applicati a nuovi dati.
Il problema fondamentale è che i modelli presumono che i dati che vedranno in futuro assomiglieranno ai dati che hanno visto in passato. Fortunatamente, diversi approcci possono “campionare” in modo affidabile un modello per comprenderne l’affidabilità complessiva. Storicamente, questi approcci sono stati lenti, ma i ricercatori del MIT e altrove stanno escogitando nuovi modi per stimare l’incertezza solo da una o poche serie di un modello.
“Stiamo iniziando a vedere molti più di questi modelli [di rete neurale] uscire dal laboratorio di ricerca e nel mondo reale, in situazioni che toccano gli esseri umani con conseguenze potenzialmente pericolose per la vita”, Alexander Amini, che ha recentemente presentato la ricerca su un nuovo metodo per stimare l’incertezza nel processo decisionale assistito dall’intelligenza artificiale, ha affermato in una dichiarazione. “Qualsiasi utente del metodo, che si tratti di un medico o di una persona sul sedile del passeggero di un veicolo, deve essere consapevole di qualsiasi rischio o incertezza associata a tale decisione”. Immagina che il sistema non solo segnali rapidamente l’incertezza, ma lo utilizzi anche per prendere decisioni più prudenti in scenari rischiosi, come quando un veicolo autonomo si avvicina a un incrocio. “Qualsiasi campo che avrà un apprendimento automatico implementabile deve in definitiva avere una consapevolezza dell’incertezza affidabile”.
All’inizio di quest’anno, IBM Uncertainty Quantification 360 (UQ360), un toolkit open source incentrato sul consentire all’AI di comprendere e comunicare la propria incertezza. UQ360 offre una serie di algoritmi e una tassonomia per quantificare l’incertezza, nonché capacità per misurare e migliorare la quantificazione dell’incertezza (UQ). Per ogni algoritmo UQ fornito nel pacchetto Python UQ360, un utente può scegliere uno stile di comunicazione appropriato seguendo le indicazioni di IBM sulla comunicazione delle stime UQ, dalle descrizioni alle visualizzazioni.
“Le tecniche di spiegabilità comuni fanno luce su come funziona l’intelligenza artificiale, ma UQ espone limiti e potenziali punti di errore”, osservano i membri dello staff di ricerca IBM Prasanna Sattigeri e Q. Vera Liao in un post sul blog . “Gli utenti di un modello di previsione dei prezzi delle case vorrebbero conoscere il margine di errore delle previsioni del modello per stimare i loro guadagni o perdite. Allo stesso modo, un product manager può notare che un modello di intelligenza artificiale prevede che una nuova funzionalità A funzionerà in media meglio di una nuova funzionalità B, ma per vedere i suoi effetti peggiori sui KPI, il manager dovrebbe anche conoscere il margine di errore in le previsioni».
In un recente studio, l’assistente professore dell’Università di Harvard Himabindu Lakkaraju ha scoperto che mostrare le metriche di incertezza alle persone con un background nell’apprendimento automatico e ai non esperti ha avuto un effetto equalizzante sulla loro resilienza alle previsioni dell’IA. Anche se promuovere la fiducia nell’IA potrebbe non essere mai così semplice come fornire metriche, la consapevolezza delle insidie potrebbe in qualche modo proteggere le persone dai limiti dell’apprendimento automatico, un obiettivo fondamentale nel dominio aziendale.
