Il futuro dell’IA è distribuito… cosa significa
L’intelligenza artificiale (AI) e l’apprendimento automatico (ML) stanno sconvolgendo ogni settore. I loro impatti e integrazioni continueranno solo a crescere.
E in definitiva, il futuro dell’IA è nell’informatica distribuita, Ion Stoica, cofondatore, presidente esecutivo e presidente di Anyscale , ha dichiarato al pubblico questa settimana
Coraggioso, connesso e curioso: utilizzare dati e approfondimenti per trasformare l’esperienza del cliente presso Walgreens Boots Alliance
L’elaborazione distribuita consente ai componenti dei sistemi software di essere condivisi tra più computer e di essere eseguiti come un unico sistema, migliorando così l’efficienza e le prestazioni.
Ma mentre il calcolo distribuito è necessario, scrivere applicazioni distribuite è difficile, “è ancora più difficile di prima”, ha detto Stoica.
In particolare, il calcolo distribuito coinvolto con IA e ML presenta molte sfide: i sistemi distribuiti variano ampiamente nella loro difficoltà di implementazione e gli ingegneri devono testare tutti gli aspetti del guasto della rete e del dispositivo, nonché le diverse permutazioni di guasti e bug.
Ciò ha offerto opportunità ad aziende come Anyscale , che offre una serie di strumenti per consentire agli sviluppatori di creare, distribuire e gestire app distribuite.
L’azienda è stata fondata dai creatori di Ray, il framework open source di intelligenza artificiale distribuito che semplifica il ridimensionamento dei carichi di lavoro di intelligenza artificiale nel cloud . Ray consente agli utenti di trasformare il codice Python in esecuzione in sequenza in un’applicazione distribuita con modifiche minime al codice.
Serverless e indipendente dal cloud
L’opzione di Anyscale è serverless , indipendente dal cloud e supporta calcoli sia stateless che stateful. Lo strumento astrae server e cluster e fornisce la scalabilità automatica.
Come ha osservato Stoica, a seconda del set di dati, i requisiti di calcolo per addestrare modelli all’avanguardia continuano a crescere di ordini di grandezza. Ad esempio, il Pathways Language Model (PaLM) di Google, un modello unico che si generalizza tra domini e attività con elevata efficienza, ha 530 miliardi di parametri. E alcuni dei più grandi vettori hanno oltre 1 trilione di parametri.
Esiste un enorme divario tra le richieste delle applicazioni ML e le capacità di un singolo processore o server. Allo stesso modo, Stoica ha sottolineato che, quando Apache Spark è stato sviluppato e rilasciato nel 2014, tutte le macchine erano considerate omogenee. Ma questa ipotesi non può più essere fatta, poiché il panorama odierno coinvolge molti diversi acceleratori hardware.
“Non c’è altro modo per supportare questi carichi di lavoro senza la distribuzione: è così semplice”, ha affermato Stoica.
Ci sono più fasi per creare un’applicazione ML, ha affermato, come l’etichettatura, l’allenamento specifico per i dati, l’ottimizzazione, l’allenamento di rinforzo. “Ognuna di queste fasi è necessario scalare, ognuna di esse ha in genere un sistema distribuito diverso”, ha affermato Stoica.
La costruzione di condotte end-to-end richiede unire tali sistemi, quindi ri-gestire, ri-sviluppare – in definitiva quello che ha descritto come un processo lungo e laborioso.
“La nostra missione consiste nel rendere più semplice l’elaborazione distribuita, ridimensionando più facilmente questi carichi di lavoro”, ha affermato di Anyscale e Ray.
AI e ML: gioco attivo
Poiché AI e ML sono di così vasta portata, i casi d’uso per Ray sono “dappertutto”. Lo strumento è stato utilizzato nel settore finanziario, nella vendita al dettaglio, nella produzione, anche nelle applicazioni per l’America’s Cup quando si tratta di addestrare i membri dell’equipaggio.
Un altro esempio è l’uso nei test di gioco. “Nei giochi online e nei giochi online, non hai abbastanza umani in una particolare stanza o area del gioco con cui interagire”, ha detto Stoica.
Affrontando il concetto di “strisciare, camminare o correre”, Stoica ha descritto l’IA come essenzialmente il punto in cui si trovavano i big data 10 anni fa. Ci vuole tempo per maturare, ha affermato, perché non si tratta solo di sviluppare strumenti, ma anche di formare esperti.
Solo una mezza dozzina di anni fa, ad esempio, college e università hanno iniziato a fornire diplomi in scienze dei dati, ha sottolineato. Ora, vengono offerti più corsi di intelligenza artificiale e emergeranno sempre più corsi di intelligenza artificiale applicati, ha previsto.
Per usare un’analogia con il baseball, “siamo davvero al primo inning”, ha detto Stoica.
