Meta rilascia Bean Machine per aiutare a misurare l’incertezza del modello AI Meta (ex Facebook) questa settimana ha annunciato il rilascio di Bean Machine , un sistema di programmazione probabilistico che apparentemente rende più facile rappresentare e conoscere le incertezze nei modelli di intelligenza artificiale . Disponibile nella versione beta iniziale, Bean Machine può essere utilizzata per scoprire proprietà non osservate di un modello tramite algoritmi di apprendimento automatici “consapevoli dell’incertezza”.
“[Bean Machine è] ispirato da un dispositivo fisico per visualizzare le distribuzioni di probabilità, un esempio pre-calcolo di un sistema probabilistico”, hanno spiegato i ricercatori di Meta dietro Bean Machine in un post sul blog . “Noi del team di sviluppo di Bean Machine crediamo che l’usabilità di un sistema costituisca la base del suo successo e ci siamo preoccupati di centrare il design di Bean Machine attorno a una filosofia dichiarativa all’interno dell’ecosistema PyTorch.”
Incertezza di modellazione
È opinione comune che i modelli di deep learning siano troppo sicuri di sé, anche quando commettono errori. L’incertezza epistemica descrive ciò che un modello non conosce perché i dati di addestramento non erano appropriati, mentre l’ incertezza aleatoria è l’incertezza derivante dalla naturale casualità delle osservazioni. Dato un numero sufficiente di campioni di addestramento, l’incertezza epistemica diminuirà, ma l’incertezza aleatoria non può essere ridotta anche quando vengono forniti più dati.
La modellazione probabilistica, la tecnica di intelligenza artificiale adottata da Bean Machine, può misurare questo tipo di incertezza tenendo conto dell’impatto di eventi casuali nel prevedere il verificarsi di risultati futuri. Rispetto ad altri approcci di apprendimento automatico, la modellazione probabilistica offre vantaggi come la stima dell’incertezza, l’espressività e l’interpretabilità. Gli analisti che lo sfruttano possono comprendere non solo la previsione di un sistema di intelligenza artificiale, ma anche la probabilità relativa di altre possibili previsioni. La modellazione probabilistica rende anche più semplice abbinare la struttura di un modello alla struttura di un problema. E con esso, gli utenti possono interpretare il motivo per cui sono state fatte previsioni particolari, il che potrebbe aiutare nel processo di sviluppo del modello.
Bean Machine, costruito sulla base del framework di apprendimento automatico PyTorch di Meta e Bean Machine Graph (BMG), un backend C++ personalizzato, consente ai data scientist di scrivere la matematica per un modello direttamente in Python e di avere BMG per eseguire il lavoro di modellazione probabilistica, deducendo le possibili distribuzioni per le previsioni basate sulla dichiarazione del modello.
L’incertezza misurata da Bean Machine può aiutare a mettere in luce i limiti di un modello e i potenziali punti di errore. Ad esempio, l’incertezza può rivelare il margine di errore per un modello di previsione del prezzo di una casa o la fiducia di un modello progettato per prevedere se una nuova funzionalità dell’app funzionerà meglio di una vecchia funzionalità.
Illustrando ulteriormente l’importanza del concetto di incertezza, un recente studio di Harvard ha scoperto che mostrare le metriche di incertezza sia alle persone con un background nell’apprendimento automatico che ai non esperti ha avuto un effetto equalizzante sulla loro resilienza alle previsioni dell’IA. Anche se promuovere la fiducia nell’IA potrebbe non essere mai così semplice come fornire metriche, la consapevolezza delle insidie potrebbe in qualche modo proteggere le persone dai limiti dell’apprendimento automatico.
“[La macchina Bean quantifica le previsioni] con misure affidabili di incertezza sotto forma di distribuzioni di probabilità … È facile codificare un modello ricco direttamente nel codice sorgente, [e poiché] il modello corrisponde al dominio, è possibile interrogare le proprietà apprese intermedie all’interno del modello ”, ha continuato Meta. “Ci auguriamo che questo renda l’utilizzo di Bean Machine semplice e intuitivo, che si tratti di creare un modello o di armeggiare in modo avanzato con le sue strategie di apprendimento”.
Bean Machine è disponibile su GitHub dall’inizio di dicembre.
