Google ha progettato una nuova libreria open source progettata per aprire la scatola nera dell’apprendimento automatico e fornire agli ingegneri maggiori informazioni sul funzionamento dei loro sistemi di apprendimento automatico. Come riportato da VentureBeat , il team di ricerca di Google afferma che la biblioteca potrebbe fornire informazioni “senza precedenti” sul funzionamento dei modelli di apprendimento automatico.
Le reti neurali operano attraverso neuroni contenenti funzioni matematiche che trasformano i dati in vari modi. I neuroni nella rete sono uniti in strati e le reti neurali hanno profondità e larghezza. La profondità di una rete neurale è controllata da quanti strati ha e i diversi strati delle reti regolano le connessioni tra i neuroni, influenzando il modo in cui i dati vengono gestiti mentre si spostano tra i livelli. Il numero di neuroni nel livello è la larghezza del livello. Secondo Roman Novak, ingegnere di ricerca di Google e Samuel S. Schoenholz, ricercatore senior presso Google, l’ampiezza dei modelli è strettamente correlata a comportamenti regolari e ripetibili. In un post sul blog, i due ricercatori hanno spiegato che allargare le reti neurali rende il loro comportamento più regolare e più facile da interpretare.
Esiste un diverso tipo di modello di apprendimento automatico chiamato processo gaussiano. Un processo gaussiano è un processo stocastico che può essere rappresentato come una normale distribuzione multivariata. Con un processo gaussiano, ogni combinazione lineare / finita di variabili verrà distribuita normalmente. Ciò significa che è possibile rappresentare interazioni straordinariamente complesse tra variabili come equazioni di algebra lineare interpretabile, e quindi è possibile studiare il comportamento di un’IA attraverso questa lente. In che modo esattamente i modelli di apprendimento automatico sono correlati ai processi gaussiani? I modelli di apprendimento automatico di larghezza infinitamente grande convergono su un processo gaussiano.
Tuttavia, sebbene sia possibile interpretare i modelli di apprendimento automatico attraverso l’obiettivo di un processo gaussiano, è necessario derivare il limite di larghezza infinita di un modello. Questa è una serie complessa di calcoli che devono essere eseguiti per ogni architettura separata. Al fine di rendere questi calcoli più facili e veloci, il team di ricerca di Google ha progettato Neural Tangents. Neural Tangents consente a un data scientist di utilizzare solo poche righe di codice e di formare contemporaneamente più reti a larghezza infinita. Le reti neurali multiple sono spesso addestrate sugli stessi set di dati e le loro previsioni sono mediate, al fine di ottenere una previsione più solida immune ai problemi che potrebbero verificarsi in ogni singolo modello. Tale tecnica si chiama apprendimento d’insieme. Uno degli svantaggi dell’insieme dell’apprendimento è che spesso è computazionalmente costoso.
Tre diverse architetture di reti neurali a larghezza infinita sono state confrontate come test e i risultati del confronto sono stati pubblicati nel post del blog. In generale, i risultati delle reti di ensemble guidate dai processi gaussiani sono simili alle normali prestazioni delle reti neurali finite:
Come spiega il team di ricerca in un post sul blog :
“Vediamo che, imitando le reti neurali finite, le reti a larghezza infinita seguono una simile gerarchia di prestazioni con le reti completamente connesse che funzionano peggio delle reti convoluzionali, che a loro volta funzionano peggio delle ampie reti residue. Tuttavia, a differenza della formazione regolare, la dinamica di apprendimento di questi modelli è completamente tracciabile in forma chiusa, il che consente a [nuovi] approfondimenti sul loro comportamento “.
Il rilascio di Neural Tangents sembra programmato per coincidere con il Summit Dev di TensorFlow. Il summit degli sviluppatori vede riuniti gli ingegneri dell’apprendimento automatico che utilizzano la piattaforma TensorFlow di Google. L’annuncio di Neural Tangents arriva anche non molto tempo dopo l’annuncio di TensorFlow Quantum.
Neural Tangents è stato reso disponibile tramite GitHub e c’è un quaderno e tutorial di Google Colaboratory a cui gli interessati possono accedere.