Alibaba open-source KNAS, un algoritmo AutoML a basso consumo
KNAS utilizza un kernel gradiente come proxy per la qualità del modello e consuma meno risorse di calcolo rispetto alle tecniche standard.
I ricercatori di Alibaba Group e della Peking University hanno creato un efficiente algoritmo AutoML chiamato Kernel Neural Architecture Search. Lo studio ha cercato una soluzione NAS (Neural Architecture Search) verde che valuti le architetture senza formazione.
KNAS utilizza un kernel gradiente come proxy per la qualità del modello e consuma meno risorse di calcolo rispetto alle tecniche standard. Il team ha proposto l’ipotesi: “I gradienti possono essere utilizzati come proxy a grana grossa dell’allenamento a valle per valutare architetture inizializzate casualmente”. I ricercatori hanno scoperto che un kernel gradiente (la media della matrice di Gram (MGM) dei gradienti) ha una forte correlazione con l’accuratezza di un modello. L’algoritmo KNAS calcola l’ MGM per ogni architettura del modello proposta, mantenendo solo i pochi migliori, calcolando l’accuratezza del modello per quei candidati e selezionando il modello con la massima precisione come risultato finale.
Di solito, i sistemi di ricerca dell’architettura neurale vengono utilizzati per trovare la migliore architettura del modello di apprendimento profondo per un’attività. Il sistema lo fa trovando un’architettura adatta a fornire la migliore metrica delle prestazioni sul dataset di attività specificato e lo spazio di ricerca delle possibili architetture. Tuttavia, questo metodo richiede l’addestramento completo di ciascun modello proposto sul set di dati, con conseguenti tempi di addestramento più lunghi.
