Anyscale, la principale azienda fornitrice della tecnologia di scalabilità open source Ray per il machine learning (ML), sta lanciando oggi il nuovo progetto open source Aviary per semplificare l’implementazione di large language model (LLM) open source.
Esistono diversi LLM open source in continua crescita, tra cui Dolly, LLaMA, Carper AI e LightGPT di Amazon, oltre a numerosi altri disponibili gratuitamente su Hugging Face. Tuttavia, possedere semplicemente un LLM non è sufficiente per renderlo utile per un’organizzazione: il modello deve ancora essere distribuito sull’infrastruttura per consentire l’inferenza e l’utilizzo nel mondo reale.
L’implementazione di un modello LLM open source sull’infrastruttura è spesso un processo di tentativi ed errori, in cui gli sviluppatori devono individuare le risorse di calcolo e i parametri di configurazione corretti. Inoltre, confrontare semplicemente un modello con un altro non è facile per gli sviluppatori. Queste sono alcune delle sfide che Anyscale sta cercando di risolvere con Aviary.
Il progetto Aviary si basa sul progetto open source Ray, integrando una serie di ottimizzazioni e configurazioni per semplificare l’implementazione di LLM di modelli open source.
Ray è già ampiamente utilizzato da grandi organizzazioni per l’addestramento dei modelli ed è la tecnologia utilizzata da OpenAI per i suoi modelli, inclusi GPT-3 e GPT-4. L’obiettivo di Aviary è consentire agli utenti di LLM open source di implementare rapidamente i modelli con le giuste ottimizzazioni.
L’obiettivo di Aviary è fornire impostazioni predefinite preconfigurate per qualsiasi LLM open source su Hugging Face. Gli utenti non dovranno dedicare tempo a capire la configurazione dell’infrastruttura; Aviary si occuperà di tutto ciò per loro.
Aviary mira anche a risolvere la sfida della selezione del modello. Con il crescente numero di modelli disponibili, non è facile per nessuno determinare il modello migliore per un caso d’uso specifico. Aviary semplifica anche il confronto tra diversi LLM per le organizzazioni. I confronti abilitati da Aviary includono accuratezza, latenza e costo.
Aviary è stato sviluppato in privato presso Anyscale negli ultimi tre mesi. Inizialmente, ci è voluto del tempo per ottenere la configurazione corretta per qualsiasi LLM open source, ma è emerso che esistono modelli comuni per l’implementazione in tutti gli LLM.
Quando LightGPT è stato reso disponibile, Aviary è stata in grado di supportarlo in meno di cinque minuti. È stato spiegato che esistono diverse architetture standard seguite da tutti gli LLM open source per gestire il parallelismo del modello e altri aspetti critici della distribuzione.