MosaicML, una startup di intelligenza artificiale con sede a San Francisco, ha annunciato oggi il lancio del suo innovativo modello di linguaggio, MPT-30B. Questo nuovo modello promette di rivoluzionare il campo dell’intelligenza artificiale nelle applicazioni aziendali, addestrato a una frazione del costo dei suoi concorrenti.
Nell’intervista, Naveen Rao, CEO e cofondatore di MosaicML, ha dichiarato che MPT-30B è stato addestrato con un budget di soli 700.000 dollari, molto inferiore rispetto ai decine di milioni di dollari necessari per addestrare modelli come GPT-3. Grazie a questo costo ridotto e alle sue dimensioni compatte, MPT-30B potrebbe risultare più attraente per le aziende che desiderano implementare modelli di elaborazione del linguaggio naturale (NLP) in applicazioni come sistemi di dialogo, completamento del codice e riepilogo del testo.
Rao ha sottolineato che MPT-30B offre miglioramenti significativi nelle capacità di riepilogo e nell’inserimento di una maggiore quantità di dati nel prompt, nonché nella capacità del modello di ragionare su tali dati. Pertanto, se queste funzionalità sono importanti per un’azienda, il modello MPT-30B potrebbe essere più adatto rispetto al modello 7B offerto da MosaicML.
Per ottimizzare il modello, MosaicML ha utilizzato diverse tecniche, tra cui i meccanismi Alibi e FlashAttention, che consentono di gestire contesti più lunghi e di sfruttare appieno le potenzialità delle GPU. Inoltre, MosaicML è stato uno dei pochi laboratori ad avere accesso alle GPU Nvidia H100, che hanno aumentato la velocità di elaborazione delle GPU di oltre 2,4 volte, riducendo così i tempi di completamento.
MosaicML consente alle aziende di addestrare i propri modelli sui loro dati utilizzando le architetture offerte dall’azienda stessa e successivamente distribuire tali modelli tramite la sua API di inferenza. Rao ha affermato che, sebbene non possa fornire molti esempi di clienti a causa della riservatezza, molte startup hanno utilizzato i modelli e gli strumenti di MosaicML per sviluppare front-end basati sul linguaggio naturale e sistemi di ricerca.
Secondo Rao, il rilascio di MPT-30B e gli strumenti di implementazione offerti da MosaicML dimostrano l’obiettivo dell’azienda di rendere l’intelligenza artificiale avanzata più accessibile. L’azienda si propone di essere trasparente riguardo ai costi, ai tempi e alle difficoltà legate all’uso di questa tecnologia, con l’obiettivo di fornire potere a un numero sempre maggiore di persone.
La disponibilità di MPT-30B come modello open source e i servizi di messa a punto e implementazione offerti da MosaicML mettono la startup in competizione con OpenAI per la leadership nel mercato dei modelli di grandi dimensioni per il linguaggio. Con ulteriori modelli e strumenti avanzati previsti per essere rilasciati nei prossimi mesi, la competizione per la leadership nella prossima generazione di intelligenza artificiale è aperta.
La visione di MosaicML per il futuro dell’IA generativa è quella di creare uno strumento che assista gli esperti di vari settori, accelerando il loro lavoro senza sostituirli. Secondo Rao, nei prossimi cinque anni, l’adozione di queste tecniche e il miglioramento degli esperti saranno gli obiettivi principali.
Oltre a rendere l’intelligenza artificiale più accessibile, MosaicML si concentra sul miglioramento della qualità dei dati per ottenere prestazioni migliori dai modelli. L’azienda sta sviluppando strumenti per aiutare gli utenti a sovrapporre dati specifici del dominio durante il processo di pre-formazione. Questo garantisce un mix di dati diversificato e di alta qualità, che è essenziale per la creazione di modelli di intelligenza artificiale efficaci.
Con il lancio di MPT-30B, MosaicML è pronta a fare progressi significativi nel settore dell’intelligenza artificiale, offrendo alle aziende un’opzione più economica e potente. La sua dedizione alla tecnologia open source e all’abilitazione di un numero maggiore di persone tramite gli strumenti di intelligenza artificiale ha il potenziale per sbloccare un’ampia gamma di innovazioni ancora inesplorate, rendendo l’intelligenza artificiale una risorsa preziosa per le aziende di tutto il mondo.
Mentre le aziende continuano ad adottare e investire nella tecnologia AI, MPT-30B di MosaicML potrebbe diventare il catalizzatore che guida una nuova era di soluzioni AI più accessibili e di impatto nel mondo degli affari.