Le idee morte dell’apprendimento automatico
I modelli di apprendimento automatico tradizionali erano in grado di dedurre e generare dati, ma con lo sviluppo della tecnologia sono stati sostituiti da alternative migliori.
Ogni giorno ci imbattiamo in notizie e aggiornamenti su nuove idee sviluppate nell’area dell’apprendimento automatico e dell’intelligenza artificiale. Anche se la maggior parte di queste innovazioni sembra evolversi nel tempo, i metodi più vecchi o più tradizionali sembrano diventare obsoleti.
Sfogliando un libro di ML degli anni ’80, vediamo che non tutte le tecniche di apprendimento automatico sono durate a lungo a causa di alcune limitazioni o problemi/problemi di scalabilità. Sebbene esistano molti metodi utili di apprendimento automatico , solo una manciata di essi viene messa in pratica. In questo articolo, esamineremo le idee di apprendimento automatico ora ridondanti.
ADALINE
Negli anni ’60, il professore della Stanford University Bernard Widrow e il suo studente di dottorato, Ted Hoff, svilupparono Adaptive Linear Neuron o ADALINE . È una rete neurale artificiale con un singolo strato che utilizza i memistori. La rete è composta da un peso, un bias e una funzione di somma.
ADALINE è stato molto utile nel campo delle telecomunicazioni e dell’ingegneria, ma il suo impatto è stato molto limitato nelle scienze cognitive a causa di problemi come la separabilità lineare e la sua vulnerabilità all’esplosione del gradiente quando viene scelto un tasso di apprendimento inappropriato.
Macchina Boltzmann e Macchina Helmholtz
Nel 1985, Geoffrey Hinton del dipartimento di informatica della Carnegie-Mellon University, sviluppò la Boltzmann Machine che consisteva in una rete neurale a due strati che include anche i mattoni della rete profonda. In sostanza, questa macchina è una rete neurale ricorrente con le unità divise in unità visibili (V) e nascoste (H) con nodi che prendono decisioni binarie e contengono determinati pregiudizi. Questo modello è anche denominato modello di apprendimento ” senza supervisione “.
I nodi dei due diversi livelli sono interconnessi tra i livelli, ma due nodi degli stessi livelli non sono collegati. Ciò ha comportato la mancanza di comunicazione intra-strato.
Nel 1994, basandosi sulla macchina Boltzmann, Hinton con Peter Dayan dell’Università di Toronto ha sviluppato la macchina Helmholtz. Prende il nome da Hermann von Helmholtz , la macchina è stata creata per esaminare il sistema percettivo umano come motore di inferenza statistica e dedurre le possibili cause del rumore nell’input sensoriale. La macchina è composta da due reti: una rete che riconosce i dati di input e crea una distribuzione su variabili nascoste e l’altra che genera valori dei dati e delle variabili nascoste.
A differenza di ADALINE, anche le macchine Helmholtz e Boltzmann sono reti neurali artificiali ma contengono due reti che lavorano su due livelli. In tempi recenti, con l’introduzione di GAN e VAE in diverse applicazioni di apprendimento automatico, le macchine Boltzmann sono diventate più o meno obsolete.
Con l’aumento dei Neural Radiance Fields (NeRF), c’è stata una rinascita del metodo del kernel , che ha raggiunto il suo apice nel 2010. Questo metodo utilizza le funzioni di base per mappare i dati di input e creare un output diverso nello spazio. Successivamente, i modelli possono essere addestrati sullo spazio delle funzionalità appena creato, anziché sullo spazio di input, con conseguente aumento delle prestazioni.
Nel 2015, Alex Graves di Google DeepMind ha sviluppato Neural Turing Machines (NTM). Questa architettura contiene due componenti: un controller di rete neurale e un banco di memoria. Ciò che differenzia NTM dalle altre architetture è che, sebbene sia anche un modello a due livelli, interagisce anche con la matrice di memoria. Ispirato da NTM, Atilim Baydin, dell’Università di Oxford, ha creato un altro metodo di apprendimento chiamato computer neurale differenziabile (DNC) con una memoria dinamica per risolvere i limiti di memoria affrontati in NTM.
Vecchio, ma ancora attuale
Diverse tecniche tradizionali di apprendimento automatico sono morte in quanto non sono state migliorate nel tempo con l’evoluzione della tecnologia, mentre molte sono state ripristinate in modelli di lavoro migliori. Un certo numero di vecchi modelli di machine learning erano in grado di dedurre i dati, ma non avevano la capacità di archiviare informazioni o piuttosto di utilizzare la memoria per rendere il processo più veloce.
Prima della rivoluzione del deep learning, anche le reti neurali erano considerate morte. Furono rianimati solo dopo il lancio della macchina Boltzmann limitata, che allora era già considerata un oscuro algoritmo.
Tuttavia, alcuni degli algoritmi/metodi tradizionali potrebbero essere rivoluzionari con un’implementazione diversa su hardware moderno, set di dati diversi e di grandi dimensioni e altro ancora. Inoltre, molte idee rivoluzionarie sono ispirate da vecchie idee, da una prospettiva diversa. “Resuscitare vecchie tecniche e accoppiarle con le conoscenze più recenti è un classico argomento di tesi di dottorato”, afferma Daniel VanderMeer.
