In base a quanto dichiarato, Nvidia, Hugging Face e ServiceNow stanno avanzando nel campo dell’intelligenza artificiale per la generazione di codice attraverso StarCoder2, una nuova serie di modelli linguistici di grandi dimensioni (LLM) disponibili per l’accesso aperto.
Secondo quanto annunciato, i modelli sono stati resi disponibili oggi in tre diverse dimensioni e sono stati addestrati su oltre 600 linguaggi di programmazione, inclusi quelli con risorse limitate. Questo è stato fatto per aiutare le aziende ad accelerare varie attività legate al codice all’interno dei loro processi di sviluppo. Si è evidenziato che tali modelli sono stati sviluppati come parte del progetto BigCode, un’iniziativa congiunta di ServiceNow e Hugging Face volta a promuovere lo sviluppo e l’uso responsabile di modelli linguistici di grandi dimensioni per il codice. È stato anche specificato che tali modelli sono disponibili senza royalty grazie alle licenze Open Responsible AI (OpenRAIL).
Harm de Vries, a capo del team di sviluppo StarCoder2 di ServiceNow e co-responsabile di BigCode, ha dichiarato che “StarCoder2 testimonia il potere combinato di una collaborazione scientifica aperta e di pratiche di intelligenza artificiale responsabili con una catena di fornitura di dati etica.” Ha inoltre aggiunto che questi modelli migliorano le prestazioni precedenti dell’intelligenza artificiale generativa per aumentare la produttività degli sviluppatori e garantire un accesso equo agli svantaggi dell’intelligenza artificiale per la generazione di codice, facilitando così alle organizzazioni di qualsiasi dimensione il soddisfacimento delle proprie esigenze aziendali.
Si è poi evidenziato che l’originale StarCoder LLM di BigCode era stato rilasciato con una dimensione di 15 parametri B ed era stato addestrato su circa 80 linguaggi di programmazione, mentre l’ultima generazione va oltre con modelli in tre diverse dimensioni – 3B, 7B e 15B – e formazione su 619 linguaggi di programmazione. Si è notato che i dati di addestramento per i nuovi modelli erano più di sette volte più grandi di quelli utilizzati precedentemente, noti come The Stack.
Si è sottolineato che la comunità BigCode ha utilizzato nuove tecniche di formazione per l’ultima generazione per garantire che i modelli possano comprendere e generare linguaggi di programmazione a basse risorse come COBOL, matematica e discussioni sul codice sorgente del programma.
È stato specificato che il modello più piccolo da 3 miliardi di parametri è stato addestrato utilizzando il framework Fast LLM di ServiceNow, mentre quello 7B è stato sviluppato con il framework nanotron di Hugging Face. Entrambi mirano a fornire generazioni di text-to-code e text-to-workflow ad alte prestazioni richiedendo meno elaborazione. Nel frattempo, il modello più grande da 15 miliardi di parametri è stato addestrato e ottimizzato con il framework cloud nativo end-to-end Nvidia NeMo e il software Nvidia TensorRT‑LLM.
Si è infine notato che tutti i modelli della famiglia StarCoder2 sono resi disponibili con la licenza Open RAIL-M con accesso e utilizzo esenti da royalty, con il codice di supporto disponibile nel repository GitHub del progetto BigCode. In alternativa, le squadre possono anche scaricare e utilizzare tutti e tre i modelli da Hugging Face. È stato annunciato che il modello 15B addestrato da Nvidia arriverà anche su Nvidia AI Foundation, consentendo agli sviluppatori di sperimentarli direttamente dal proprio browser o tramite un endpoint API.
In conclusione, sebbene StarCoder non sia il primo ad entrare nel campo della generazione di codice basata sull’intelligenza artificiale, la varietà di opzioni offerte dall’ultima generazione del progetto consente alle aziende di sfruttare i LLM nello sviluppo di applicazioni risparmiando tempo ed elaborazione. Altri attori importanti in questo spazio sono OpenAI e Amazon, con i loro rispettivi strumenti Codex e CodeWhisper, insieme a concorrenti come Replit e Codenium.