Cosa entusiasma Yoshua Bengio riguardo al futuro dell’IA generativa
I GAN hanno dato ai modelli di deep learning qualcosa che prima non avevano: l’immaginazione
La maggior parte del mondo che si è imbattuto in immagini generate dall’intelligenza artificiale lo scorso anno potrebbe commettere l’errore di credere che la parola d’ordine “generativo” non fosse mai stata ascoltata prima. Ma chiunque sappia un po’ di più sull’intelligenza artificiale, saprebbe che le origini dell’IA generativa risalgono all’avvento dei GAN.
GAN, un inizio nell’IA generativa
Nel 2014, un gruppo di ricercatori, tra cui l’ex ricercatore di Google Brain Ian Goodfellow, il suo professore e premio Turing Yoshua Bengio e altri hanno pubblicato un documento sulle reti generative adversarial o GAN. Hanno deciso di utilizzare le reti neurali in modo fantasioso: avrebbero messo due reti l’una contro l’altra che avrebbero costantemente cercato di superare in astuzia l’altra. Entrambi verrebbero addestrati sullo stesso set di dati di immagini e alla fine genererebbero una nuova immagine falsa che sarebbe sufficientemente convincente.
I GAN hanno dato ai modelli di deep learning qualcosa che prima non avevano: l’immaginazione. E per questo, i GAN saranno considerati uno dei più grandi passi compiuti verso macchine dotate di una coscienza simile a quella umana. Il giornale ha causato una sorta di terremoto nella comunità trasformando Goodfellow in una celebrità all’istante.
In una chat esclusiva con Analytics India Magazine , Bengio, sostenitore dell’IA, si è entusiasmato per la distanza percorsa dai modelli generativi da allora. Sui recenti progressi compiuti dai generatori di testo in immagini come DALL.E di OpenAI e Stable Diffusion di StabilityAI, Bengio ha dichiarato: “Una delle cose che mi ha colpito di più è il progresso nei modelli generativi”.
Origini dei modelli di diffusione
Bengio ha anche elogiato il corpo di lavoro in rapida crescita dei modelli di diffusione. Introdotti nel 2015 in un documento intitolato “Deep Unsupervised Learning using Nonequilibrium Thermodynamics”, i modelli di diffusione sono stati il passo successivo che ha dato forma ai modelli generativi.
I modelli di diffusione hanno funzionato più velocemente e hanno generato immagini che miglioravano la qualità prodotta dai GAN.
Questi modelli hanno lavorato su una tecnica di denoising che prendeva immagini corrotte e sintetizzava nuovamente l’immagine fino a produrre l’immagine pulita finale. Ecco come funziona Stable Diffusion: è addestrato ad aggiungere e rimuovere ripetutamente piccole quantità di rumore dalle immagini fino a quando non genera l’output finale.
Scoperte che portano ai moderni modelli generativi
Per Bengio e altri membri familiari della comunità AI, nessuno di questi concetti era nuovo. “Alcune delle idee alla base di questo risalgono a più di dieci anni fa”, ha affermato. Bengio ha lasciato una scia di carte che lo dimostrano. Nel 2013, Bengio, Li Yao e un paio di altri ricercatori hanno pubblicato un articolo sul denoising intitolato “Generalized Denoising Auto-Encoders as Generative Models” che parlava dell’importanza del denoising e degli autoencoder contrattivi.
Tutti i principali generatori di testo in immagini oggi in circolazione, inclusi DALL.E 2, Imagen di Google e Stable Diffusion, utilizzano modelli di diffusione.
Una svolta fondamentale raggiunta lo scorso anno ha contribuito alla loro importanza.
Nel dicembre 2021, un documento intitolato “Sintesi di immagini ad alta risoluzione con modelli di diffusione latente” ha introdotto modelli di diffusione latente. Questi modelli utilizzavano un codificatore automatico per comprimere le immagini in uno spazio latente relativamente più piccolo durante l’addestramento. Quindi, l’autoencoder viene utilizzato per decomprimere la rappresentazione latente finale che alla fine genera l’immagine di output. Questa costante ripetizione del processo di diffusione nello spazio latente ha ridotto enormemente i tempi ei costi di generazione delle immagini.
I modelli di diffusione latente potrebbero anche fare altre cose di cui i modelli generativi in precedenza non erano capaci, come l’indipingimento di immagini, la super-risoluzione e la sintesi di scene semantiche.
Ritorno in ML probabilistico e altri concetti
Bengio ha anche seguito ardentemente lo spazio dell’apprendimento automatico probabilistico per un po’ e crede fermamente che i progressi nell’area possano risolvere alcune delle sfide con l’apprendimento profondo. “Sono piuttosto entusiasta dei progressi nell’area dell’apprendimento automatico probabilistico”, ha osservato.
L’apprendimento automatico probabilistico ha progettato modelli di intelligenza artificiale in modo da aiutare le macchine a capire cos’è l’apprendimento attraverso le esperienze. Utilizza le statistiche per prevedere la possibilità di risultati futuri attraverso eventi o azioni casuali. Ad esempio, un classificatore probabilistico può assegnare una probabilità di diciamo 0,8 alla classe “Gatto”, indicando che è molto sicuro che l’animale nell’immagine sia un gatto. Se si riesce a collegare i punti, le applicazioni di questo possono essere immediatamente realizzate nei veicoli a guida autonoma.
C’è un grande vantaggio nell’apprendimento automatico probabilistico: dà un’idea chiara di quanto sia sicura o incerta la macchina riguardo all’accuratezza della previsione.
Secondo Bengio, molte di queste vecchie idee hanno il potenziale per tornare nell’IA moderna come il vino vecchio in una bottiglia nuova. Ce n’è un altro che secondo lui potrebbe essere trasformativo: la causalità. Mentre la catena di pensieri su causa ed effetto è nata in epoca presocratica, i ricercatori di deep learning li hanno riconosciuti molto più tardi a causa delle sfide che sorgono a causa della mancanza di rappresentazioni causali nei modelli ML.
“Uno dei maggiori limiti dell’attuale machine learning, incluso il deep learning, è la capacità di generalizzare correttamente a nuove impostazioni come nuove distribuzioni, ciò che chiamiamo ‘generalizzazione fuori distribuzione’, e gli esseri umani sono molto bravi in questo”, ha affermato Bengio. Ha detto che ci sono buone ragioni per pensare che gli umani siano bravi in questo perché hanno modelli causali del mondo. “Se hai un buon modello causale, puoi generalizzare a nuove impostazioni”, ha aggiunto.
