Il campo dell’intelligenza artificiale si muove velocemente. Sono passati solo 8 anni da quando l’era moderna del deep learning è iniziata al concorso ImageNet del 2012 . I progressi nel campo da allora sono stati mozzafiato e implacabili.
Semmai, questo ritmo vertiginoso sta solo accelerando. Tra cinque anni, il campo dell’IA avrà un aspetto molto diverso da come appare oggi. I metodi attualmente considerati all’avanguardia saranno diventati obsoleti; metodi che oggi sono nascenti o ai margini saranno mainstream.
Come sarà la prossima generazione di intelligenza artificiale? Quali nuovi approcci AI sbloccheranno possibilità attualmente inimmaginabili nella tecnologia e nel business? Questo articolo evidenzia tre aree emergenti all’interno dell’IA che sono pronte a ridefinire il campo e la società negli anni a venire. Studia adesso.
- Apprendimento senza supervisione
Il paradigma dominante nel mondo dell’IA oggi è l’apprendimento supervisionato. Nell’apprendimento supervisionato, i modelli di intelligenza artificiale apprendono da set di dati che gli esseri umani hanno curato ed etichettato in base a categorie predefinite. (Il termine “apprendimento supervisionato” deriva dal fatto che i “supervisori” umani preparano i dati in anticipo.)
Sebbene l’apprendimento supervisionato abbia portato notevoli progressi nell’IA negli ultimi dieci anni, dai veicoli autonomi agli assistenti vocali, ha seri limiti.
Il processo di etichettatura manuale di migliaia o milioni di punti dati può essere enormemente costoso e macchinoso . Il fatto che gli esseri umani debbano etichettare i dati manualmente prima che i modelli di machine learning possano ingerirli è diventato un importante collo di bottiglia nell’IA.
Ci sono 6 milioni di lavoratori neri che mancano al tuo pool di talenti
A un livello più profondo, l’apprendimento supervisionato rappresenta una forma di apprendimento ristretta e circoscritta. Piuttosto che essere in grado di esplorare e assorbire tutte le informazioni, le relazioni e le implicazioni latenti in un dato set di dati, gli algoritmi supervisionati si orientano solo ai concetti e alle categorie che i ricercatori hanno identificato in anticipo.
Al contrario, l’apprendimento senza supervisione è un approccio all’intelligenza artificiale in cui gli algoritmi apprendono dai dati senza etichette o indicazioni fornite dall’uomo.
Molti leader dell’IA vedono l’apprendimento senza supervisione come la prossima grande frontiera dell’intelligenza artificiale. Nelle parole della leggenda dell’IA Yann LeCun: “La prossima rivoluzione dell’IA non sarà supervisionata”. La professoressa dell’UC Berkeley Jitenda Malik ha affermato in modo ancora più colorato: “Le etichette sono l’oppio del ricercatore di machine learning”.
Come funziona l’apprendimento senza supervisione? In poche parole, il sistema apprende alcune parti del mondo in base ad altre parti del mondo. Osservando il comportamento, i modelli e le relazioni tra le entità, ad esempio le parole in un testo o le persone in un video, il sistema avvia una comprensione generale del suo ambiente. Alcuni ricercatori lo riassumono con la frase “predire tutto da tutto il resto”.
L’apprendimento senza supervisione rispecchia più da vicino il modo in cui gli esseri umani apprendono il mondo: attraverso l’esplorazione e l’inferenza aperte, senza bisogno delle “ruote di addestramento” dell’apprendimento supervisionato. Uno dei suoi vantaggi fondamentali è che nel mondo ci saranno sempre molti più dati senza etichetta che dati etichettati (e il primo è molto più facile da trovare).
Nelle parole di LeCun, che preferisce il termine strettamente correlato “apprendimento auto-supervisionato” : “Nell’apprendimento autoguidato, una parte dell’input viene utilizzata come segnale di supervisione per prevedere la parte rimanente dell’input …. Di più la conoscenza della struttura del mondo può essere appresa attraverso l’apprendimento autogestito rispetto a [altri paradigmi di intelligenza artificiale], perché i dati sono illimitati e la quantità di feedback fornita da ogni esempio è enorme “.
L’apprendimento senza supervisione sta già avendo un impatto trasformativo nell’elaborazione del linguaggio naturale. La PNL ha visto di recente progressi incredibili grazie a una nuova architettura di apprendimento senza supervisione nota come Transformer, nata da Google circa tre anni fa. (Vedi # 3 sotto per ulteriori informazioni sui Transformers.)
Gli sforzi per applicare l’apprendimento senza supervisione ad altre aree dell’IA rimangono nelle fasi iniziali, ma si stanno compiendo rapidi progressi. Per fare un esempio, una startup chiamata Helm.ai sta cercando di utilizzare l’apprendimento senza supervisione per scavalcare i leader nel settore dei veicoli a guida autonoma.
Molti ricercatori vedono l’apprendimento senza supervisione come la chiave per lo sviluppo dell’IA a livello umano. Secondo LeCun, padroneggiare l’apprendimento senza supervisione è “la più grande sfida nel ML e nell’IA dei prossimi anni”.
- Apprendimento federato
Una delle sfide principali dell’era digitale è la privacy dei dati. Poiché i dati sono la linfa vitale della moderna intelligenza artificiale, i problemi di riservatezza dei dati svolgono un ruolo significativo (e spesso limitante) nella traiettoria dell’IA.
L’intelligenza artificiale che preserva la privacy, ovvero metodi che consentono ai modelli di IA di apprendere dai set di dati senza comprometterne la privacy, sta diventando un’attività sempre più importante. Forse l’approccio più promettente all’IA che preserva la privacy è l’apprendimento federato.
Il concetto di federated learning è stato formulato per la prima volta dai ricercatori di Google all’inizio del 2017. Nell’ultimo anno, l’interesse per l’apprendimento federato è esploso: nei primi sei mesi del 2020 sono stati pubblicati più di 1.000 articoli di ricerca sull’apprendimento federato, rispetto ai soli 180 in tutto il 2018.
L’approccio standard alla creazione di modelli di machine learning oggi consiste nel raccogliere tutti i dati di addestramento in un unico posto, spesso nel cloud, e quindi addestrare il modello sui dati. Ma questo approccio non è praticabile per la maggior parte dei dati mondiali, che per motivi di privacy e sicurezza non possono essere spostati in un archivio dati centrale. Questo lo rende off-limits per le tradizionali tecniche di intelligenza artificiale.
L’apprendimento federato risolve questo problema capovolgendo l’approccio convenzionale all’IA.
Anziché richiedere un set di dati unificato per addestrare un modello, l’apprendimento federato lascia i dati dove si trovano, distribuiti su numerosi dispositivi e server sull’edge. Vengono invece inviate molte versioni del modello, una a ciascun dispositivo con i dati di addestramento, e addestrate localmente su ogni sottoinsieme di dati. I parametri del modello risultante, ma non i dati di addestramento stessi, vengono quindi rinviati al cloud. Quando tutti questi “mini-modelli” vengono aggregati, il risultato è un modello globale che funziona come se fosse stato addestrato sull’intero set di dati contemporaneamente.
Il caso d’uso dell’apprendimento federato originale era l’addestramento di modelli di intelligenza artificiale su dati personali distribuiti su miliardi di dispositivi mobili. Come hanno riassunto quei ricercatori: “I moderni dispositivi mobili hanno accesso a una grande quantità di dati adatti a modelli di apprendimento automatico …. Tuttavia, questi dati ricchi sono spesso sensibili alla privacy, di grandi quantità o entrambi, il che potrebbe precludere la registrazione al data center …. Sosteniamo un’alternativa che lasci i dati di formazione distribuiti sui dispositivi mobili e apprenda un modello condiviso aggregando aggiornamenti calcolati localmente “.
Più recentemente, l’assistenza sanitaria è emersa come un campo particolarmente promettente per l’applicazione dell’apprendimento federato.
È facile capire perché. Da un lato, ci sono un numero enorme di preziosi casi d’uso dell’IA nel settore sanitario . D’altra parte, i dati sanitari, in particolare le informazioni di identificazione personale dei pazienti, sono estremamente sensibili; un mucchio di regolamenti come l’HIPAA ne limita l’uso e il movimento. L’apprendimento federato potrebbe consentire ai ricercatori di sviluppare strumenti di intelligenza artificiale sanitaria salvavita senza mai spostare le cartelle cliniche sensibili dalla loro fonte o esporle a violazioni della privacy.
È emersa una serie di startup per perseguire l’apprendimento federato nel settore sanitario. Il più affermato è Owkin, con sede a Parigi; i giocatori nelle fasi iniziali includono Lynx.MD, Ferrum Health e Secure AI Labs.
Oltre all’assistenza sanitaria, l’apprendimento federato potrebbe un giorno svolgere un ruolo centrale nello sviluppo di qualsiasi applicazione di intelligenza artificiale che coinvolge dati sensibili: dai servizi finanziari ai veicoli autonomi, dai casi d’uso governativi ai prodotti di consumo di ogni tipo. Associato ad altre tecniche di conservazione della privacy come la privacy differenziale e la crittografia omomorfica, l’apprendimento federato può fornire la chiave per sbloccare il vasto potenziale dell’IA mitigando la spinosa sfida della privacy dei dati.
L’ondata di legislazione sulla privacy dei dati in atto oggi in tutto il mondo (a partire da GDPR e CCPA, con molte leggi simili in arrivo) non farà che accelerare la necessità di queste tecniche di conservazione della privacy. Aspettati che l’apprendimento federato diventi una parte importante dello stack tecnologico di intelligenza artificiale negli anni a venire.
- Trasformatori
Siamo entrati in un’era d’oro per l’elaborazione del linguaggio naturale.
Il rilascio di GPT-3 da parte di OpenAI, il modello di linguaggio più potente mai costruito, ha affascinato il mondo della tecnologia quest’estate. Ha stabilito un nuovo standard nella PNL: può scrivere poesie impressionanti, generare codice funzionante, comporre promemoria aziendali ponderati, scrivere articoli su se stesso e molto altro ancora.
GPT-3 è solo l’ultimo (e il più grande) di una serie di modelli di PNL con architettura simile – BERT di Google, GPT-2 di OpenAI, RoBERTa di Facebook e altri – che stanno ridefinendo ciò che è possibile in PNL.
La svolta tecnologica chiave alla base di questa rivoluzione nel linguaggio AI è il Transformer.
I trasformatori sono stati introdotti in un importante documento di ricerca del 2017 . In precedenza, i metodi NLP all’avanguardia erano tutti basati su reti neurali ricorrenti (ad esempio, LSTM). Per definizione, le reti neurali ricorrenti elaborano i dati in modo sequenziale, ovvero una parola alla volta, nell’ordine in cui le parole appaiono.
La grande innovazione di Transformers consiste nel rendere parallelizzata l’elaborazione del linguaggio: tutti i token in un dato corpo di testo vengono analizzati contemporaneamente anziché in sequenza. Per supportare questa parallelizzazione, Transformers fa molto affidamento su un meccanismo di intelligenza artificiale noto come attenzione. L’attenzione consente a un modello di considerare le relazioni tra le parole indipendentemente da quanto siano distanti e di determinare quali parole e frasi in un passaggio sono più importanti da “prestare attenzione”.
Perché la parallelizzazione è così preziosa? Perché rende i Transformer molto più efficienti dal punto di vista computazionale degli RNN, il che significa che possono essere addestrati su set di dati molto più grandi. GPT-3 è stato addestrato su circa 500 miliardi di parole e consiste di 175 miliardi di parametri, facendo impallidire qualsiasi RNN esistente.
I trasformatori sono stati associati quasi esclusivamente alla PNL fino ad oggi, grazie al successo di modelli come GPT-3. Ma proprio questo mese è stato pubblicato un nuovo documento rivoluzionario che applica con successo Transformers alla visione artificiale. Molti ricercatori di intelligenza artificiale ritengono che questo lavoro potrebbe presagire una nuova era nella visione artificiale. (Come noto ML ricercatore Oriol Vinyals dirla semplicemente, “La mia opinione è: circonvoluzioni addio.”)
Mentre le principali aziende di intelligenza artificiale come Google e Facebook hanno iniziato a mettere in produzione modelli basati su Transformer, la maggior parte delle organizzazioni rimane nelle prime fasi di produzione e commercializzazione di questa tecnologia. OpenAI ha annunciato l’intenzione di rendere GPT-3 commercialmente accessibile tramite API, che potrebbe seminare un intero ecosistema di startup che creano applicazioni su di esso.
Aspettatevi che Transformers fungerà da base per un’intera nuova generazione di funzionalità di intelligenza artificiale negli anni a venire, a partire dal linguaggio naturale. Per quanto sia stato eccitante lo scorso decennio nel campo dell’intelligenza artificiale, potrebbe rivelarsi solo un preludio al decennio a venire.
