IBM rilascia il toolkit del modello AI per aiutare gli sviluppatori a misurare l’incertezza
Alla sua Digital Developer Conference di oggi, IBM Uncertainty Quantification 360 (UQ360), un nuovo toolkit open-source incentrato sul consentire all’AI di comprendere e comunicare la propria incertezza. Seguendo le orme di AI Fairness 360 e AI Explainability 360 di IBM , l’obiettivo di UQ360 è promuovere pratiche comunitarie tra ricercatori, data scientist, sviluppatori e altri che potrebbero portare a una migliore comprensione e comunicazione sui limiti dell’AI.
È opinione comune che i modelli di deep learning siano troppo sicuri di sé, anche quando commettono errori. L’incertezza epistemica descrive ciò che un modello non conosce perché i dati di addestramento non erano appropriati. D’altra parte, l’incertezza aleatoria è l’incertezza derivante dalla naturale casualità delle osservazioni. Dato un numero sufficiente di campioni di addestramento, l’incertezza epistemica diminuirà, ma l’incertezza aleatoria non può essere ridotta anche quando vengono forniti più dati.
UQ360 offre una serie di algoritmi e una tassonomia per quantificare l’incertezza, nonché capacità per misurare e migliorare la quantificazione dell’incertezza (UQ). Per ogni algoritmo UQ fornito nel pacchetto UQ360 Python, un utente può scegliere uno stile di comunicazione appropriato seguendo le indicazioni di IBM sulla comunicazione delle stime UQ, dalle descrizioni alle visualizzazioni. UQ360 include anche un’esperienza interattiva che fornisce un’introduzione alla produzione di UQ e ai modi per utilizzare UQ in un’applicazione di previsione dei prezzi delle case. Inoltre, UQ360 include una serie di tutorial approfonditi per dimostrare come utilizzare UQ nel ciclo di vita dell’IA.
L’importanza dell’incertezza
L’incertezza è una delle principali barriere che ostacolano il successo dell’apprendimento auto-supervisionato , ha dichiarato lo scorso anno Yann LeCun, capo scienziato di intelligenza artificiale di Facebook, alla Conferenza internazionale sulla rappresentazione dell’apprendimento (ICLR). Le distribuzioni sono tabelle di valori che collegano ogni possibile valore di una variabile alla probabilità che il valore possa verificarsi. Rappresentano perfettamente l’incertezza dove le variabili sono discrete, motivo per cui architetture come il BERT di Google hanno così tanto successo. Ma i ricercatori non hanno ancora scoperto un modo per rappresentare utilmente le distribuzioni in cui le variabili sono continue, cioè dove possono essere ottenute solo misurando.
Come notano i membri dello staff di ricerca IBM Prasanna Sattigeri e Q. Vera Liao in un post sul blog, la scelta del metodo UQ dipende da una serie di fattori, tra cui il modello sottostante, il tipo di attività di apprendimento automatico, le caratteristiche dei dati e le obbiettivo. A volte un metodo UQ scelto potrebbe non produrre stime di incertezza di alta qualità e potrebbe fuorviare gli utenti, quindi è fondamentale che gli sviluppatori valutino la qualità di UQ e migliorino la qualità della quantificazione, se necessario, prima di implementare un sistema di intelligenza artificiale.
In un recente studio condotto da Himabindu Lakkaraju, un assistente professore all’Università di Harvard, mostrare le metriche di incertezza sia alle persone con un background nell’apprendimento automatico che ai non esperti ha avuto un effetto equalizzante sulla loro resilienza alle previsioni dell’IA. Anche se promuovere la fiducia nell’IA potrebbe non essere mai così semplice come fornire metriche, la consapevolezza delle insidie potrebbe in qualche modo proteggere le persone dai limiti dell’apprendimento automatico.
“Le tecniche di spiegabilità comuni fanno luce su come funziona l’intelligenza artificiale, ma UQ espone limiti e potenziali punti di errore”, hanno scritto Sattigeri e Liao. “Gli utenti di un modello di previsione dei prezzi delle case vorrebbero conoscere il margine di errore delle previsioni del modello per stimare i loro guadagni o perdite. Allo stesso modo, un product manager può notare che un modello di intelligenza artificiale prevede che una nuova funzionalità A funzionerà in media meglio di una nuova funzionalità B, ma per vedere i suoi effetti peggiori sui KPI, il manager dovrebbe anche conoscere il margine di errore in le previsioni».
