Mistral AI, un’azienda emergente nel campo dell’intelligenza artificiale con sede a Parigi, ha recentemente introdotto il suo nuovo Large Language Model (LLM), MoE 8x7B. Questo lancio si distingue per la modalità di distribuzione, ossia attraverso un link torrent, contrapponendosi agli approcci tradizionali adottati da altre aziende come Google con il loro Gemini. Questa strategia ha generato un notevole interesse e discussioni all’interno della comunità AI.
Strategie Non Convenzionali di Mistral AI
Mistral AI ha sempre adottato un approccio non convenzionale nella distribuzione dei suoi prodotti. Invece di utilizzare i canali usuali come articoli, blog o comunicati stampa, ha preferito modi diretti per attirare l’attenzione della comunità AI. Di recente, l’azienda ha raggiunto una valutazione di 2 miliardi di dollari dopo un round di finanziamento guidato da Andreessen Horowitz, stabilendo un record europeo con un investimento iniziale di 118 milioni di dollari. Mistral AI ha anche partecipato attivamente alle discussioni sull’EU AI Act, promuovendo una regolamentazione meno stringente per l’IA open source.
L’Innovazione di MoE 8x7B
MoE 8x7B, spesso comparato a un GPT-4 semplificato, è basato su un framework Mixture of Experts (MoE) con otto ‘esperti’, ognuno dotato di 111 miliardi di parametri, oltre a 55 miliardi di parametri di attenzione condivisa, totalizzando 166 miliardi di parametri. Questa struttura consente di attivare solo due esperti per l’inferenza di ogni token, ottimizzando l’efficienza del processo. MoE 8x7B può gestire contesti estesi fino a 32.000 token e supporta diverse lingue, tra cui inglese, francese, italiano, tedesco e spagnolo.
Risultati Impressionanti di Mixtral 8x7B
Mixtral 8x7B ha mostrato risultati notevoli, superando LLaMA 2 70B e confrontandosi con GPT-3.5. Ha ottenuto un tasso di successo del 60,7% nel compito MBPP e ha raggiunto punteggi elevati nel rigoroso MT-Bench.
Il Concetto di MoE
La tecnologia MoE, che sta alla base del modello di Mistral AI, non è una novità. Questa architettura di rete neurale si basa su un approccio modulare, dove diverse sottoreti ‘esperte’ sono progettate per gestire specifici tipi di dati o compiti. Un ‘network gate’ indirizza i dati di input all’esperto più adeguato, permettendo un utilizzo più efficiente delle risorse computazionali.
Applicazioni e Sfide dei Modelli MoE
I modelli MoE sono versatili e si adattano a vari ambiti come l’elaborazione del linguaggio naturale, l’elaborazione di immagini e video, e soluzioni IA personalizzabili. Tuttavia, presentano anche sfide, come la complessità nella formazione e la gestione delle risorse computazionali.
Futuro dell’Intelligenza Artificiale con MoE
L’incorporazione di strati MoE nelle reti neurali apre nuove frontiere per il ridimensionamento dei modelli AI, permettendo di gestire compiti complessi su larga scala in vari domini. L’ottimizzazione del calcolo condizionale offerta dai livelli MoE potenzia significativamente l’efficienza e la capacità dei modelli di intelligenza artificiale.
