Meta ha annunciato il lancio della sua nuova API Llama, promettendo prestazioni di inferenza fino a 18 volte superiori rispetto alle soluzioni tradizionali basate su GPU. Questa innovazione è resa possibile grazie alla collaborazione con Cerebras Systems, specializzata in chip AI ad alte prestazioni. Durante la conferenza LlamaCon a Menlo Park, Meta ha presentato questa API come un servizio commerciale che trasforma i modelli open-source Llama in una piattaforma scalabile per sviluppatori e aziende.
I benchmark mostrano che il sistema Cerebras alimenta il modello Llama 4 Scout con una velocità di elaborazione di oltre 2.600 token al secondo, un risultato che supera notevolmente le prestazioni di altri concorrenti come SambaNova (747 token/s) e Groq (600 token/s). In confronto, i modelli basati su GPU come quelli di OpenAI e Google raggiungono circa 130 token/s. Questa differenza evidenzia l’efficacia dell’architettura hardware di Cerebras nel gestire carichi di lavoro intensivi in tempo reale.
Analytics India Magazine
Meta ha deciso di entrare nel mercato dei servizi di inferenza AI, offrendo agli sviluppatori un’API che consente l’accesso ai modelli Llama con prestazioni elevate e scalabilità. Questo servizio rappresenta una risposta diretta alla crescente domanda di potenza computazionale per applicazioni AI avanzate. La partnership con Cerebras permette a Meta di offrire una soluzione che combina software all’avanguardia con hardware specializzato, ottimizzando i costi e migliorando l’efficienza operativa.
Con l’introduzione dell’API Llama, Meta si posiziona come un attore competitivo nel panorama dell’intelligenza artificiale, sfidando aziende consolidate come OpenAI, Anthropic e Google. La combinazione di modelli open-source e infrastrutture cloud scalabili offre nuove opportunità per l’innovazione e l’adozione di soluzioni AI in vari settori. Inoltre, la disponibilità di un servizio di inferenza ad alte prestazioni potrebbe accelerare lo sviluppo di applicazioni AI, riducendo le barriere tecniche e finanziarie per le aziende.