Mistral AI ha annunciato il rilascio del suo nuovo modello, Codestral Mamba 7B, basato sull’architettura avanzata di Mamba 2. Questo modello è progettato per aiutare gli sviluppatori nella generazione di codice, offrendo capacità avanzate grazie alla sua capacità di gestire contesti fino a 256.000 token.
Codestral Mamba si distingue per la sua efficiente inferenza lineare del tempo, che gli permette di gestire sequenze di lunghezza infinita. Questo rende possibile una rapida interazione con il modello, garantendo risposte veloci indipendentemente dalla dimensione dell’input, un vantaggio significativo per migliorare la produttività nella scrittura del codice.
Il modello supporta una vasta gamma di linguaggi di programmazione, inclusi Python, Java, C, C++, JavaScript e Bash, oltre a linguaggi specializzati come Swift e Fortran. Questa versatilità rende Codestral Mamba adatto a diversi ambienti e progetti di programmazione.
Mistral AI ha condotto benchmark dettagliati che dimostrano le solide capacità di Codestral Mamba, posizionandolo come uno strumento promettente per l’assistenza alla codifica locale. Gli sviluppatori possono utilizzare il modello attraverso l’SDK di inferenza di Mistral AI, con implementazioni di riferimento disponibili su GitHub. È possibile distribuire Codestral Mamba utilizzando TensorRT-LLM, e sono in corso piani per supportare l’inferenza locale tramite llama.cpp. I pesi del modello possono essere scaricati da HuggingFace.
Codestral Mamba è ora disponibile su diverse piattaforme, insieme alla sua versione più grande, Codestral 22B. Mentre Codestral Mamba è concesso in licenza sotto Apache 2.0, Codestral 22B offre opzioni sia per la distribuzione commerciale che per i test della comunità.