OPENAI E UBER AI HANNO PROPOSTO UN NUOVO APPROCCIO ALLA RICERCA NELL’ARCHITETTURA NEURALE
Recentemente, OpenAI ha collaborato con UberAI per proporre un nuovo approccio – la capsula di Petri sintetica – per accelerare il passaggio più costoso di Neural Architecture Search (NAS). I ricercatori hanno esplorato se l’efficienza computazionale del NAS può essere migliorata creando un nuovo tipo di surrogato, uno che può beneficiare della formazione miniaturizzata e generalizzare ancora oltre la distribuzione osservata delle valutazioni di verità.
Le reti neurali profonde sono state testimoni del successo e sono in grado di mitigare varie sfide aziendali come il riconoscimento vocale, il riconoscimento delle immagini, la traduzione automatica, tra le altre ormai da alcuni anni.
Secondo i ricercatori, Neural Architecture Search (NAS) esplora un ampio spazio di motivi architettonici ed è un processo ad alta intensità di calcolo che spesso comporta la valutazione della verità di base di ciascun motivo, istanziandolo all’interno di una grande rete e formando e valutando la rete con migliaia o più campioni di dati. Per motivo, i ricercatori intendevano la progettazione di una cellula ricorrente ricorrente o di una funzione di attivazione che si ripete spesso in un modello di rete neurale più ampio .
Dietro la capsula di Petri sintetica
In questo lavoro, i ricercatori hanno preso ispirazione da un’idea in biologia e hanno materializzato questa idea con l’apprendimento automatico, l’applicazione di una capsula di Petri sintetica è stata creata con l’obiettivo di identificare motivi architettonici ad alte prestazioni. Pertanto, l’approccio proposto in questa ricerca ha tentato di ricreare algoritmicamente questo tipo di processo scientifico allo scopo di trovare migliori motivi di rete neurale .
Secondo i ricercatori, l’obiettivo della capsula di Petri sintetica è quello di creare un ambiente di addestramento al microcosmo in modo tale che le prestazioni di un motivo su piccola scala addestrato al suo interno predicano bene le prestazioni del motivo completamente espanso nella valutazione della verità del suolo.
Come funziona
Nella figura sopra, la figura a sinistra illustra l’allenamento dell’anello interno e dell’anello esterno della procedura della capsula di Petri sintetica. I motivi (in questo esempio, le funzioni di attivazione) vengono estratti da tutta la rete (ad esempio un MLP a 2 strati, 100 larghi 100) e istanziati in reti di motivi separate, molto più piccole (ad esempio un MLP a due strati, a singolo neurone).
Le reti di motivi vengono quindi addestrate nel circuito interno con i dati di allenamento sintetici e valutate utilizzando dati di validazione sintetici. Nel circuito esterno, viene calcolata una perdita di errore quadrata media media tra le perdite di validazione della piastra di Petri normalizzate e le corrispondenti perdite di verità di terra normalizzate. L’addestramento sintetico e i dati di validazione sono ottimizzati facendo passi graduali rispetto alla perdita del circuito esterno.
In cosa differisce dagli altri modelli di rete
Secondo i ricercatori, a differenza di altri modelli di previsione basati su reti neurali che analizzano la struttura del motivo per stimarne le prestazioni, la capsula di Petri sintetica prevede le prestazioni del motivo allenando il motivo reale in un ambiente artificiale, derivando così le previsioni dal suo vere proprietà intrinseche.
I ricercatori hanno confrontato la capsula di Petri sintetica con il controllo dell’allenamento di un modello surrogato della rete neurale per prevedere le prestazioni in funzione della pendenza sigmoidea. Questo controllo surrogato basato su NN è una rete feedforward a 2 strati e 10 neuroni che accetta il valore sigmoideo come input e prevede la precisione dell’accettazione della rete MNIST corrispondente come output.
A differenza di questo modello basato sulla rete neurale che prevede le prestazioni di nuovi motivi in base al loro valore scalare, la capsula di Petri sintetica si allena e valuta ogni nuovo motivo in modo indipendente con dati sintetici, il che significa che in realtà utilizza una NN con una particolare pendenza sigmoidale in un piccolo esperimento e quindi dovrebbe avere maggiori informazioni su quanto bene questa pendenza si comporta.
Takeaway chiave da questa ricerca:
La capsula di Petri sintetica ha la capacità di prevedere le prestazioni di nuovi motivi con una precisione significativamente maggiore, specialmente quando sono disponibili dati di verità sul terreno insufficienti
Secondo i ricercatori, questa ricerca può ispirare una nuova direzione di ricerca nello studio delle prestazioni dei componenti estratti dei modelli in un ambiente diagnostico sintetico ottimizzato per fornire valutazioni informative
I ricercatori hanno affermato che avvicinandosi alla ricerca dell’architettura in questo modo come una sorta di problema di risposta alle domande su come determinati motivi o fattori influenzano i risultati finali, hanno ottenuto il vantaggio interessante che il modello di previsione non è più una scatola nera.