Uno scienziato spiega “l’apprendimento profondo”
L’intelligenza artificiale incontra l’intelligenza umana
Parole chiave come “deep learning” e “reti neurali” sono ovunque, ma tanta parte della comprensione popolare è fuorviata, dice Terrence Sejnowski , neuroscienziato computazionale presso il Salk Institute for Biological Studies.
Sejnowski, un pioniere nello studio degli algoritmi di apprendimento, è l’autore di The Deep Learning Revolution (la prossima settimana dalla MIT Press). Sostiene che il clamore sull’IA killer o sui robot che ci rendono obsoleti ignora le eccitanti possibilità che accadono nei campi dell’informatica e delle neuroscienze, e cosa può accadere quando l’intelligenza artificiale incontra l’intelligenza umana.
The Verge ha parlato con Sejnkowski di come il “deep learning” sembri improvvisamente essere dappertutto, cosa può e cosa non può fare e il problema dell’hype.
Questa intervista è stata leggermente modificata per chiarezza.
Innanzitutto, vorrei chiedere delle definizioni. La gente usa parole come “intelligenza artificiale” e “reti neurali” e “apprendimento profondo” e “apprendimento automatico” quasi in modo intercambiabile. Ma queste sono cose diverse – puoi spiegare?
AI risale al 1956 negli Stati Uniti, dove gli ingegneri decisero di scrivere un programma per computer che tentasse di imitare l’intelligenza. All’interno dell’intelligenza artificiale, è nato un nuovo campo chiamato machine learning. Invece di scrivere un programma passo-passo per fare qualcosa – che è un approccio tradizionale nell’IA – raccogli molti dati su qualcosa che stai cercando di capire. Ad esempio, immagina di provare a riconoscere gli oggetti, quindi raccogli molte immagini di essi. Quindi, con l’apprendimento automatico, è un processo automatizzato che analizza le varie funzionalità e rileva che una cosa è un’automobile e l’altra è una cucitrice.
L’apprendimento automatico è un campo molto vasto e va molto indietro. In origine, la gente lo chiamava “riconoscimento di pattern”, ma gli algoritmi sono diventati molto più ampi e molto più sofisticati matematicamente. Nell’ambito dell’apprendimento automatico sono le reti neurali ispirate al cervello e quindi l’apprendimento profondo. Gli algoritmi di deep learning hanno una particolare architettura con molti layer che fluiscono attraverso la rete. Quindi, in sostanza, l’apprendimento approfondito è una parte dell’apprendimento automatico e l’apprendimento automatico è una parte dell’IA.
Cosa può fare l’apprendimento profondo che altri programmi non possono?
Scrivere un programma è estremamente laborioso. Ai vecchi tempi, i computer erano così lenti e la memoria era così costosa da ricorrere alla logica, che è ciò su cui i computer lavorano. Questo è il loro linguaggio macchina fondamentale per manipolare bit di informazione. I computer erano troppo lenti e il calcolo era troppo costoso.
Ma ora l’informatica sta diventando sempre meno costosa e la manodopera diventa più costosa. E il computing è diventato così economico che è diventato molto più efficiente avere un computer che imparare un essere umano scrivere un programma. A quel punto, l’apprendimento approfondito ha effettivamente iniziato a risolvere problemi che nessun umano ha mai scritto prima in un programma, in campi come la visione artificiale e la traduzione.
L’apprendimento è incredibilmente intensivo dal punto di vista computazionale, ma devi solo scrivere un programma e assegnandogli set di dati diversi puoi risolvere diversi problemi. Non devi essere un esperto di dominio. Quindi ci sono migliaia di applicazioni per tutto ciò che contiene molti dati.
Immagine: MIT Press, 2018
“Apprendimento profondo” sembra essere ovunque ora. Come è diventato così dominante?
Posso effettivamente individuarlo in un particolare momento della storia: dicembre 2012 alla riunione NIPS , che è la più grande conferenza AI. Lì, [lo scienziato informatico] Geoff Hinton e due dei suoi studenti laureati hanno dimostrato che è possibile utilizzare un set di dati molto ampio chiamato ImageNet, con 10.000 categorie e 10 milioni di immagini e ridurre l’errore di classificazione del 20 percento mediante l’apprendimento approfondito.
CIÒ CHE È SBAGLIATO CON IL CLAMORE È CHE LE PERSONE HANNO SBAGLIATO LA SCALA TEMPORALE
Tradizionalmente su quel set di dati, l’errore diminuisce di meno dell’1% in un anno. In un anno, sono stati scavalcati 20 anni di ricerca. Questo ha davvero aperto le porte.
L’apprendimento profondo è ispirato al cervello. In che modo questi campi – informatica e neuroscienza – funzionano insieme?
L’ispirazione per l’apprendimento profondo proviene davvero dalle neuroscienze. Guarda le reti di deep learning di maggior successo. Sono le reti neurali convoluzionali , o CNN, sviluppate da Yann LeCun .
Se guardi l’architettura delle CNN, non sono solo un sacco di unità, sono collegate in modo fondamentale per rispecchiare il cervello. Una parte del cervello meglio studiata nel sistema visivo e il lavoro fondamentale nella corteccia visiva mostrano che ci sono cellule semplici e complesse. Se si guarda all’architettura della CNN, ci sono gli equivalenti di celle semplici e l’equivalente di celle complesse e deriva direttamente dalla nostra comprensione del sistema visivo.
Yann non ha cercato di duplicare la corteccia. Provò diverse varianti, ma quelle su cui confondeva erano quelle su cui la natura convergeva. Questa è un’osservazione importante. La convergenza tra natura e intelligenza artificiale ha molto da insegnarci e c’è ancora molto da fare.
Quanto la nostra comprensione della scienza del computer dipende dalla nostra comprensione del cervello?
Bene, gran parte della nostra attuale IA si basa su ciò che sapevamo del cervello negli anni ’60. Conosciamo una quantità enorme di più ora e più di quella conoscenza si sta incorporando nell’architettura.
AlphaGo, il programma che batteva il campione Go, includeva non solo un modello della corteccia, ma anche un modello di una parte del cervello chiamata gangli basali, che è importante per fare una sequenza di decisioni per raggiungere un obiettivo. Esiste un algoritmo chiamato differenze temporali , sviluppato negli anni ’80 da Richard Sutton, che, se associato all’apprendimento profondo, è capace di giochi molto sofisticati che nessun essere umano ha mai visto prima.
Man mano che apprendiamo l’architettura del cervello e iniziando a capire come possono essere integrati in un sistema artificiale, fornirà sempre più capacità ben oltre il punto in cui ci troviamo ora.
Anche l’IA influenzerà le neuroscienze?
Sono sforzi paralleli. Ci sono stati enormi progressi nelle neurotecnologie innovative che sono passate dalla registrazione di un neurone alla volta a migliaia di neuroni contemporaneamente, e molte parti del cervello contemporaneamente, aprendo completamente un mondo completamente nuovo per questo.
Ho detto che c’è una convergenza tra l’intelligenza artificiale e l’intelligenza umana. Man mano che impariamo sempre di più su come funziona il cervello, questo si rifletterà in AI. Ma allo stesso tempo, stanno effettivamente creando un’intera teoria dell’apprendimento che può essere applicata alla comprensione del cervello e che ci consente di analizzare le migliaia di neuroni e come stanno venendo fuori le loro attività. Quindi c’è questo ciclo di feedback tra neuroscienza e intelligenza artificiale che ritengo sia ancora più eccitante e importante.
Il tuo libro discute così tante diverse applicazioni di deep learning, dalle auto auto-guida al trading. C’è una certa area che trovi più interessante?
Un’applicazione in cui sono stato semplicemente spazzato via è la generativa rete del contraddittorio, o GANS. Con le reti neurali tradizionali, dai un input, ottieni un risultato. I GAN sono in grado di sviluppare attività – uscite – senza input.
Giusto, ne ho sentito parlare nel contesto di queste reti che creano video falsi . Generano davvero cose nuove che sembrano realistiche, giusto?
In un certo senso, generano attività interne. Questo risulta essere il modo in cui funziona il cervello. Puoi guardare fuori e vedere qualcosa e poi puoi chiudere gli occhi e puoi iniziare a immaginare cose che non sono là fuori. Hai un immaginario visivo, hai idee che vengono da te quando le cose sono tranquille. Questo perché il tuo cervello è generativo. E ora questa nuova classe di reti può generare nuovi modelli che non sono mai esistiti. Così puoi dargli, per esempio, centinaia di immagini di auto e creerebbe una struttura interna in grado di generare nuove immagini di auto che non sono mai esistite e sembrano tutte completamente simili a macchine.
Il rovescio della medaglia, quali idee ritieni possano essere eccessivamente esagerate?
Nessuno può prevedere o immaginare quale sarà l’introduzione di questa nuova tecnologia sul modo in cui le cose verranno organizzate in futuro. Certo che c’è hype. Non abbiamo risolto i problemi veramente difficili. Non abbiamo un’intelligenza generale, ma la gente dice che i robot sono proprio dietro l’angolo che ci sostituiranno, anche se i robot sono molto più indietro rispetto all’IA perché il corpo si rivela più complicato del cervello da replicare.
Diamo un’occhiata a un solo progresso tecnologico: il laser. È stato inventato circa 50 anni fa e occupava tutta la stanza. Per andare da quella stanza al puntatore laser che uso quando faccio una lezione, ho bisogno di 50 anni di commercializzazione della tecnologia. Doveva essere avanzato al punto da ridurlo e comprarlo per cinque dollari. La stessa cosa succederà alla tecnologia di hyped come auto auto-guida. Non dovrebbe essere onnipresente l’anno prossimo o probabilmente non 10 anni. Potrebbero volerci 50, ma il punto, tuttavia, è che lungo il percorso ci saranno progressi progressivi che lo renderanno sempre più flessibile, più sicuro e più compatibile con il modo in cui abbiamo organizzato la nostra rete di trasporti. Ciò che è sbagliato con il clamore è che le persone hanno sbagliato la scala temporale. Si aspettano troppo presto, ma a tempo debito accadrà.