Negli ultimi due anni, uno dei modi più comuni per le organizzazioni di scalare ed eseguire carichi di lavoro di intelligenza artificiale (AI) sempre più grandi e complessi è stato con il framework open source Ray , utilizzato da aziende da OpenAI a Shopify e Instacart.
Ray consente ai modelli di machine learning (ML) di scalare tra le risorse hardware e può essere utilizzato anche per supportare i flussi di lavoro MLops in diversi strumenti ML . Ray 1.0 è uscito a settembre 2020 e ha avuto una serie di iterazioni negli ultimi due anni.
Oggi è stato rilasciato il prossimo importante traguardo, con la disponibilità generale di Ray 2.0 al Ray Summit di San Francisco. Ray 2.0 estende la tecnologia con il nuovo Ray AI Runtime (AIR) progettato per funzionare come livello di runtime per l’esecuzione di servizi ML. Ray 2.0 include anche funzionalità progettate per semplificare la creazione e la gestione dei carichi di lavoro dell’IA.
Oltre alla nuova versione, Anyscale , che è il principale sostenitore commerciale di Ray, ha annunciato una nuova piattaforma aziendale per l’esecuzione di Ray. Anyscale ha anche annunciato un nuovo round di finanziamento da 99 milioni di dollari guidato dagli investitori esistenti Addition e Intel Capital con la partecipazione di Foundation Capital.
“Ray è iniziato come un piccolo progetto alla UC Berkeley ed è cresciuto ben oltre ciò che immaginavamo all’inizio”, ha affermato Robert Nishihara, cofondatore e CEO di Anyscale, durante il suo keynote al Ray Summit.
Il GPT-3 di OpenAI è stato addestrato su Ray
È difficile sottovalutare l’importanza fondamentale e la portata di Ray nello spazio dell’IA oggi.
Nishihara ha esaminato una lunga lista di grandi nomi del settore IT che stanno utilizzando Ray durante il suo keynote. Tra le aziende che ha menzionato c’è il fornitore di piattaforme di e-commerce Shopify, che utilizza Ray per aiutare a scalare la sua piattaforma ML che utilizza TensorFlow e PyTorch. Il servizio di consegna di generi alimentari Instacart è un altro utente Ray, che beneficia della tecnologia per aiutare ad addestrare migliaia di modelli ML. Nishihara ha osservato che Amazon è anche un utente Ray su più tipi di carichi di lavoro.
Ray è anche un elemento fondamentale per OpenAI, che è uno dei principali innovatori dell’IA, ed è il gruppo alla base del GPT-3 Large Language Model e della tecnologia di generazione di immagini DALL-E .
“Stiamo utilizzando Ray per addestrare i nostri modelli più grandi”, ha dichiarato al Ray Summit Greg Brockman, CTO e cofondatore di OpenAI. “Quindi, è stato molto utile per noi in termini di capacità di scalare fino a una scala piuttosto senza precedenti”.
Brockman ha commentato che vede Ray come uno strumento adatto agli sviluppatori e anche il fatto che si tratti di uno strumento di terze parti che OpenAI non deve mantenere è utile.
“Quando qualcosa va storto, possiamo lamentarci su GitHub e chiedere a un ingegnere di lavorarci su, in modo da ridurre parte del carico di costruzione e manutenzione dell’infrastruttura”, ha affermato Brockman.
Più funzionalità di apprendimento automatico sono integrate in Ray 2.0
Per Ray 2.0, un obiettivo principale di Nishihara era rendere più semplice per più utenti poter beneficiare della tecnologia, fornendo al contempo ottimizzazioni delle prestazioni a vantaggio degli utenti grandi e piccoli.
Nishihara ha commentato che un punto dolente comune nell’IA è che le organizzazioni possono essere legate a un particolare framework per un determinato carico di lavoro, ma si rendono conto nel tempo di voler utilizzare anche altri framework. Ad esempio, un’organizzazione potrebbe iniziare solo a utilizzare TensorFlow, ma rendersi conto di voler utilizzare anche PyTorch e HuggingFace nello stesso carico di lavoro di ML. Con Ray AI Runtime (AIR) in Ray 2.0, ora sarà più facile per gli utenti unificare i carichi di lavoro ML su più strumenti.
La distribuzione del modello è un altro punto dolente comune che Ray 2.0 sta cercando di risolvere, con la capacità del grafico di distribuzione di Ray Serve.
“Una cosa è distribuire una manciata di modelli di machine learning. Un’altra cosa è distribuire diverse centinaia di modelli di machine learning, soprattutto quando tali modelli possono dipendere l’uno dall’altro e avere dipendenze diverse”, ha affermato Nishihara. “Come parte di Ray 2.0, stiamo annunciando i grafici di distribuzione di Ray Serve, che risolvono questo problema e forniscono una semplice interfaccia Python per la composizione scalabile del modello”.
Guardando al futuro, l’obiettivo di Nishihara con Ray è quello di consentire un uso più ampio dell’IA semplificando lo sviluppo e la gestione dei carichi di lavoro ML.
“Vorremmo arrivare al punto in cui qualsiasi sviluppatore o qualsiasi organizzazione può avere successo con l’IA e ottenere valore dall’IA”, ha affermato Nishihara.
