Che cosa significa lo strumento di interpretabilità linguistica di Google per gli sviluppatori
Recentemente, Google Research ha reso open source una piattaforma per la visualizzazione e la comprensione dei modelli di elaborazione del linguaggio naturale (NLP) nota come Language Interpretability Tool (LIT). LIT integra spiegazioni locali, analisi aggregate e generazione controfattuale in un’interfaccia semplificata basata su browser per consentire una rapida esplorazione e analisi degli errori.
La tecnica di elaborazione del linguaggio naturale ha dato diversi contributi eccezionali negli ultimi anni. Tuttavia, i modelli di PNL soffrono di diversi pregiudizi, che includono il comportamento di questi modelli in caso di spostamento del dominio, contesti contraddittori, tendenze a comportarsi secondo pregiudizi sociali, euristiche superficiali e altro ancora.
Perché LIT?
Nonostante la recente esplosione di lavoro sulla comprensione e valutazione dei modelli linguistici, problemi specifici limitano la robustezza dei modelli. Per mitigare tali problemi, i ricercatori spesso sperimentano molte tecniche, esaminando spiegazioni locali, metriche aggregate e variazioni controfattuali dell’input per costruire una piena comprensione del comportamento del modello e altri simili.
Alcuni strumenti affermano di assistere con questi processi. Ad esempio, la libreria open source TensorFlow Model Analysis (TFMA) che fornisce solo metriche aggregate, frontend interattivi incentrati sulla spiegazione di un singolo punto dati e strumenti più integrati. Tuttavia, passare da uno strumento all’altro o adottare un nuovo metodo dal codice di ricerca può richiedere molto tempo e distrarre dal compito reale dell’analisi degli errori. Questo è il motivo per cui i ricercatori di Google hanno introdotto lo strumento LIT.
Dietro LIT
Language Interpretability Tool (LIT), un toolkit e un’interfaccia utente basata su browser (UI) per la comprensione del modello NLP supporta varie attività, come spiegazioni locali, mappe di salienza, visualizzazioni dettagliate della previsione del modello, nonché analisi aggregate che includono metriche, spazi di incorporamento, e affettatura flessibile.
L’interfaccia utente LIT è scritta in linguaggio TypeScript e comunica con un backend Python che ospita modelli, set di dati, generatori controfattuali e altri componenti di interpretazione. L’interfaccia utente basata su browser è un’app Web a pagina singola, costruita con lit-element e MobX. Il backend Python serve modelli, dati e componenti di interpretazione.
Lo strumento consente agli utenti di passare facilmente da uno all’altro per testare ipotesi locali e convalidarle su un set di dati. LIT fornisce anche il supporto per una generazione controfattuale, in quanto è possibile aggiungere nuovi punti dati al volo e il loro effetto sul modello visualizzato immediatamente.
Come accennato in precedenza, LIT ha un’interfaccia utente basata su browser composta da moduli che contengono controlli e visualizzazioni per attività specifiche come matrice di confusione, tabella dati, mappe di salienza, trama scalare, attenzione. matrimoni e molto altro ancora. Può funzionare come un semplice server demo, dove è possibile inserire testo, premere un pulsante e vedere le previsioni del modello.
Caratteristiche di LIT
Flessibile: LIT supporta una vasta gamma di attività di PNL , tra cui classificazione, seq2seq, modellazione del linguaggio e previsione strutturata.
Estendibile: questa piattaforma è progettata per la sperimentazione e può essere riconfigurata ed estesa per nuovi flussi di lavoro.
Modulare: qui i componenti sono autonomi, portatili e semplici da implementare.
Framework Agnostic: questo strumento funziona con qualsiasi modello che può essere eseguito da Python, inclusi TensorFlow, PyTorch, tra gli altri.
Facile da usare: LIT include una bassa barriera all’ingresso, con solo una piccola quantità di codice necessaria per aggiungere modelli e dati insieme a un facile percorso per accedere a funzionalità sofisticate.
Vantaggi di LIT
Esistono diversi modi in cui lo strumento LIT può aiutare uno sviluppatore di PNL . Alcuni di loro sono menzionati di seguito-
Esplora il set di dati: con LIT, gli utenti possono esplorare in modo interattivo i set di dati utilizzando criteri diversi tra i moduli come la tabella dati e il modulo di incorporamento.
Trova punti dati interessanti: questo strumento consente agli sviluppatori di identificare punti dati interessanti per l’analisi, spostarli tra loro e salvare le selezioni per un utilizzo futuro.
Spiegare il comportamento locale: gli sviluppatori possono ora facilmente approfondire il comportamento del modello su singoli punti dati selezionati utilizzando una varietà di moduli a seconda dell’attività e del tipo del modello.
Genera nuovi punti dati: utilizzando LIT, gli sviluppatori possono creare nuovi punti dati in base ai punti dati di interesse manualmente tramite modifiche o con una gamma di generatori controfattuali automatici, come la traduzione inversa, il recupero del vicino più vicino, tra gli altri.
Confronta fianco a fianco: LIT consente agli sviluppatori di confrontare due o più modelli sugli stessi dati o un singolo modello su due punti dati contemporaneamente.
Calcola metriche: LIT calcola e visualizza le metriche per l’intero set di dati, la selezione corrente, nonché su sezioni generate manualmente o automaticamente per trovare facilmente modelli nelle prestazioni del modello.
