IBM ha reso disponibile il modello LLM (Large Language Model) open source Mixtral-8x7B, sviluppato da Mistral AI, sulla sua piattaforma dati e AI Watsonx, ampliando le sue capacità per aiutare i clienti ad innovare sia con modelli IBM di base che con quelli provenienti da una varietà di fornitori open source.
La versione ottimizzata di Mixtral-8x7B offerta da IBM è stata testata internamente e ha mostrato un aumento del throughput del 50% rispetto al modello standard. Questo potrebbe ridurre la latenza tra il 35% e il 75%, a seconda delle dimensioni del batch, accelerando così il processo di ottenimento di insight. Ciò è possibile grazie alla quantizzazione, un processo che riduce le dimensioni del modello e i requisiti di memoria per gli LLM, contribuendo così ad abbattere i costi e il consumo energetico.
L’integrazione di Mixtral-8x7B amplia la strategia aperta e multi-modello di IBM, offrendo ai clienti la possibilità di personalizzare le soluzioni AI per le proprie esigenze aziendali. Grazie alla ricerca e allo sviluppo nel campo dell’intelligenza artificiale, alla collaborazione con Meta e Hugging Face e alle partnership con leader nel settore dei modelli, IBM sta ampliando il proprio catalogo di modelli e introdurre nuove funzionalità, linguaggi e modalità.
IBM permette ai clienti di selezionare il modello più adatto per i propri casi d’uso e obiettivi di rapporto prezzo-prestazioni, inclusi ambiti aziendali specifici come la finanza.
Mixtral-8x7B è stato costruito utilizzando modellazione sparsa e la tecnica Mixture-of-Experts, noti per la loro capacità di elaborare grandi quantità di dati rapidamente e fornire insight pertinenti.
Oltre a Mixtral-8x7B, IBM ha annunciato la disponibilità di altri modelli LLM open source come ELYZA-japanese-Llama-2-7b di ELYZA Corporation e Meta Llama-2-13B e Llama-2-70B, con altri modelli in arrivo nei prossimi mesi.