Stability AI, un’azienda nota principalmente per i suoi modelli generativi di intelligenza artificiale che trasformano il testo in immagini attraverso la diffusione stabile, sta ampliando il suo raggio d’azione. Recentemente, ha lanciato StableLM Zephyr 3B, un Large Language Model (LLM) con 3 miliardi di parametri, progettato per applicazioni di chat, inclusi generazione di testo, riepilogo e personalizzazione dei contenuti. Questo nuovo modello è una versione più piccola e ottimizzata del precedente StableLM, introdotto da Stability AI ad aprile.
StableLM Zephyr 3B, pur essendo più piccolo dei modelli StableLM da 7 miliardi di parametri, offre diversi vantaggi. La sua dimensione ridotta facilita l’implementazione su un’ampia varietà di hardware, riducendo l’uso delle risorse e mantenendo una risposta rapida. Il modello è ottimizzato per domande, risposte e istruzioni legate a specifici tipi di attività.
Emad Mostaque, CEO di Stability AI, ha evidenziato che StableLM è stato addestrato più a lungo con dati di qualità superiore rispetto ai precedenti modelli, come il LLaMA v2 7b, raggiungendo prestazioni comparabili nonostante le sue dimensioni ridotte del 40%.
StableLM Zephyr 3B non è un modello completamente nuovo, ma piuttosto un’estensione del preesistente StableLM 3B-4e1t. Il design di Zephyr è ispirato al modello Zephyr 7B di HuggingFace, sviluppato sotto licenza open source MIT e concepito come assistente. Zephyr adotta un metodo di formazione chiamato Direct Preference Optimization (DPO), ora utilizzato anche in StableLM.
Mostaque ha spiegato che DPO, un’alternativa all’apprendimento per rinforzo utilizzato nei modelli precedenti, è generalmente impiegato con modelli più grandi da 7 miliardi di parametri. StableLM Zephyr è tra i primi a sfruttare questa tecnica in un modello più piccolo da 3 miliardi di parametri.
Stability AI ha implementato DPO utilizzando il set di dati UltraFeedback di OpenBMB, contenente oltre 64.000 suggerimenti e 256.000 risposte. Questa combinazione di DPO, dimensioni ridotte e un set di dati di training ottimizzato conferisce a StableLM prestazioni solide. Nel test MT Bench, ad esempio, StableLM Zephyr 3B ha superato modelli più grandi come Llama-2-70b-chat di Meta e Claude-V1 di Antropric.
StableLM Zephyr 3B si aggiunge alla crescente lista di nuovi modelli lanciati da Stability AI negli ultimi mesi. Ad agosto, l’azienda ha introdotto StableCode per lo sviluppo di codici applicativi, seguito dal debutto di Stable Audio in settembre e un’anteprima di Stable Video Diffusion a novembre. Recentemente, Stability AI ha anche rilasciato SDXL Turbo, una versione migliorata del suo modello di diffusione stabile da testo a immagine.
Mostaque assicura che ci saranno ulteriori innovazioni da Stability AI, puntando su modelli piccoli, aperti e performanti, adattati ai dati degli utenti, che supereranno i modelli generali più grandi. Con il futuro rilascio completo dei nuovi modelli StableLM, l’obiettivo è democratizzare ulteriormente i modelli di linguaggio generativo.