La startup di intelligenza artificiale (AI) Stability AI ha lanciato un nuovo modello di linguaggio in miniatura. Come ChatGPT, può essere utilizzato come chatbot conversazionale ed è caratterizzato dal fatto di essere rilasciato come open source.
TechCrunch ha riferito che Stability AI ha rilasciato “stableLM”, un modello di linguaggio interattivo open source in grado di generare testo, immagini e codice. Stability AI è un’azienda che è diventata famosa per il suo generatore di immagini “Stable Diffusion” e questa volta ha ampliato il suo raggio d’azione.
Secondo il rapporto, Stable LM ha appreso da “The Pile”, un set di dati raccolto da Wikipedia, YouTube e Pubmed. Stability AI ha affermato di aver ampliato The File di un fattore 3 per creare un set di dati di addestramento da 800 GB comprendente 1,5 trilioni di token.
StableLM è stato costruito sulla base di “EleutherAI”, un modello di linguaggio open source creato da un istituto di ricerca senza scopo di lucro. I parametri di stableLM rilasciati questa volta sono due versioni, 3 miliardi e 7 miliardi, e in futuro sono previste anche versioni da 15 miliardi e 65 miliardi di parametri.
I parametri che determinano la dimensione del modello linguistico sono 175 miliardi per il ‘GPT-3’ di OpenAI e 540 miliardi per il ‘PaLM’ di Google. Rispetto a un modello linguistico così grande (LLM), un modello linguistico relativamente piccolo con un numero di variabili che va da miliardi a decine di miliardi viene definito modello linguistico piccolo (sLLM).
Questi piccoli modelli linguistici sono caratterizzati dalla capacità di mettersi al passo con le prestazioni di altri LLM attraverso un processo di messa a punto. I costi di formazione e operativi sono incomparabilmente inferiori rispetto agli LLM.
Il modello e il set di dati sono stati rilasciati come open source. Chiunque può utilizzare StableLM gratuitamente per creare nuovi prodotti o tecnologie. Può essere utilizzato, modificato ed esteso per qualsiasi scopo, inclusi progetti di ricerca o commerciali.
“Apriamo i nostri modelli per promuovere la trasparenza e la fiducia”, afferma Stability AI sul suo blog ufficiale. “Le organizzazioni del settore pubblico e privato possono mettere a punto questi modelli open source per le proprie applicazioni”, ha spiegato.
StableLM è attualmente in versione alpha ed è disponibile sulla piattaforma AI open source di Hugging Face.