Con l’intelligenza artificiale generativa che sta diventando sempre più cruciale per le organizzazioni, la domanda predominante è come ottimizzare l’uso in termini di costi. Robert Nishihara, CEO e co-fondatore di Anyscale, sta cercando di rispondere a questa sfida. Anyscale è il principale fornitore commerciale del diffuso framework Ray open source, utilizzato per la formazione e l’inferenza di apprendimento automatico distribuito. Questa settimana, durante la Ray Conference, che si terrà dal 18 al 19 settembre a San Francisco, Nishihara illustrerà il successo di Ray fino ad oggi e condividerà le prospettive future.
Tra le grandi novità annunciate oggi c’è la disponibilità generale di Anyscale Endpoints, un servizio che consente alle organizzazioni di perfezionare e implementare facilmente modelli linguistici di grandi dimensioni (LLM) open source. Inoltre, Anyscale ha annunciato una nuova partnership estesa con Nvidia per ottimizzare il software Nvidia per l’inferenza e la formazione sulla piattaforma Anyscale.
“Se hai utilizzato Uber, ordinato su Instacart, ascoltato su Spotify o guardato Netflix o TikTok, o hai interagito con la chat GPT di OpenAI, hai interagito con modelli costruiti con Ray,” ha affermato Nishira. “È davvero ovunque.”
Nishihara ha sottolineato che durante il Ray Summit spiegherà in dettaglio come vari fornitori siano riusciti a scalare l’intelligenza artificiale riducendo contemporaneamente i costi. Alcuni dei parametri di successo condivisi includono la capacità di Instacart di addestrare modelli 12 volte più velocemente con 100 volte più dati rispetto al passato, e il 40% di riduzione dei costi da parte di Pinterest per la formazione di migliaia di modelli di intelligenza artificiale.
“Sto cercando di sottolineare che se siete preoccupati per i costi e le prestazioni, Ray è la scelta ideale per i LLM e l’intelligenza artificiale generativa”, ha affermato.
Dal punto di vista del prodotto, Anyscale Platform è la versione supportata commercialmente di Ray, fornendo funzionalità aziendali fondamentali per scalare e implementare qualsiasi tipo di formazione per l’inferenza.
Anyscale Endpoints è un servizio che offre accesso API ai LLM open source senza la necessità di distribuire o gestire i modelli internamente. Inoltre, AnyScale Endpoints semplifica l’integrazione degli LLM nei prodotti degli sviluppatori attraverso una semplice API, simile all’utilizzo dell’API OpenAI da parte di molte organizzazioni oggi.
Nishihara ha spiegato: “Con AnyScale Endpoints, i clienti possono interrogare modelli come Llama 2 per ottenere risposte. AnyScale si occupa dell’esecuzione e dell’ottimizzazione dei modelli dietro le quinte.”
In parte, Anyscale Endpoints trae vantaggio dal progetto open source Aviary dell’azienda, lanciato a maggio. Aviary consente agli utenti di eseguire LLM da soli utilizzando il codice Python su Ray, mentre AnyScale Endpoints semplifica l’interazione con i modelli tramite API, gestendo l’esecuzione e l’ottimizzazione dei modelli.
Con i LLM, esistono modelli sia grandi che piccoli, ma spesso i modelli più grandi comportano costi maggiori per le organizzazioni. Perciò, molte organizzazioni stanno cercando di utilizzare modelli più piccoli per risparmiare, ma questi modelli non sono sempre altrettanto validi. La messa a punto è un approccio che permette alle organizzazioni di personalizzare un modello per migliorare le prestazioni in un contesto specifico, creando modelli più piccoli ed economicamente efficienti che possono competere con quelli più grandi.
Per chi necessita di formazione e dati personalizzati, ma non vuole utilizzare LLM accessibili al pubblico, Anyscale sta lanciando un servizio Private Endpoints. Questo servizio permette l’implementazione di Anyscale Endpoints all’interno del cloud privato virtuale (VPC) di un’organizzazione, garantendo che i dati e i modelli dei clienti rimangano al sicuro all’interno dell’infrastruttura aziendale.
L’obiettivo principale di Nishihara è concentrarsi sull’efficienza e rendere più economico per le organizzazioni lavorare con i LLM. Ha affermato: “Siamo un’azienda di infrastrutture, il nostro vantaggio sta nella profonda esperienza nell’ottimizzazione delle prestazioni e delle infrastrutture, e faremo ogni sforzo per raddoppiare il nostro impegno e continuare a migliorare la velocità ed economicità di tutto ciò.”