Stability AI, il noto fornitore di tecnologia di intelligenza artificiale generativa di testo e immagini con diffusione stabile, ha annunciato oggi il suo primo nuovo modello di intelligenza artificiale del 2024: Stable Code 3B, disponibile tramite licenza commerciale (mediante abbonamento).
Come suggerisce il nome, Stable Code 3B è un modello con 3 miliardi di parametri focalizzato sul completamento del codice per lo sviluppo software. Questo modello può essere eseguito su laptop senza la necessità di GPU dedicate, offrendo comunque prestazioni competitive e funzionalità paragonabili a modelli più grandi come il CodeLLaMA 7B di Meta.
La spinta verso modelli più compatti e capaci è iniziata da Stability AI alla fine del 2023 con modelli come StableLM Zephyr 3B per la generazione di testo.
Stability AI ha introdotto per la prima volta Stable Code nell’agosto 2023 con il rilascio iniziale di LLM per la generazione di codice, e da allora ha continuato a migliorare la tecnologia costantemente.
Rispetto al rilascio iniziale, Stability AI ha apportato diverse migliorie a Stable Code 3B. Questo nuovo modello non solo suggerisce nuove righe di codice, ma è anche in grado di completare sezioni mancanti più ampie all’interno del codice esistente, una funzionalità avanzata nota come “Fill in the Middle” (FIM).
L’addestramento del modello è stato ottimizzato con una dimensione del contesto estesa utilizzando una tecnica chiamata “Rotary Position Embeddings” (RoPE), che consente opzionalmente un contesto fino a 100.000 token. Questa tecnica è utilizzata anche da altri modelli LLM, tra cui il Llama 2 Long di Meta.
Stable Code 3B si basa sul modello di linguaggio naturale Stable LM 3B di Stability AI, ma è stato ulteriormente addestrato sui dati di ingegneria del software, acquisendo così competenze nel completamento del codice pur mantenendo le sue capacità nelle attività linguistiche generali. I dati di addestramento includono repository di codice, forum di programmatori e altre fonti tecniche.
Inoltre, il modello è stato formato su 18 diversi linguaggi di programmazione, dimostrando prestazioni leader nei test di benchmark su più lingue, tra cui Python, Java, JavaScript, Go, Ruby e C++. I primi risultati dei benchmark indicano che Stable Code 3B è almeno all’altezza dei modelli molto più grandi.
Il mercato degli strumenti di generazione di codice AI generativi è altamente competitivo, con opzioni come il CodeLLaMA 7B di Meta e il StarCoder LLM, sviluppato in collaborazione con IBM, HuggingFace e ServiceNow. Stability AI sostiene che Stable Code 3B supera il StarCoder nei linguaggi di programmazione Python, C++, JavaScript, Java, PHP e Rust.
Stable Code 3B è ora disponibile per uso commerciale come parte del nuovo servizio di abbonamento di Stability AI, annunciato per la prima volta a dicembre. Gli abbonati avranno accesso a Stable Code 3B insieme ad altri strumenti AI nel portafoglio di Stability AI, tra cui gli strumenti per la generazione di immagini a diffusione stabile SDXL, StableLM Zephyr 3B per la generazione di contenuto testuale, Stable Audio per la generazione di audio e Stable Video per la generazione di video.