SambaNova Systems ha recentemente lanciato la piattaforma di inferenza AI più veloce al mondo, SambaNova Cloud, che integra il modello Llama 3.1 405B di Meta. Questa piattaforma, alimentata dal chip AI proprietario SN40L, offre una velocità impressionante di 132 token al secondo, rendendola la soluzione più performante per modelli di intelligenza artificiale di grandi dimensioni.
La piattaforma SambaNova Cloud è stata sviluppata per soddisfare le esigenze degli sviluppatori e delle aziende, permettendo loro di accedere ai modelli Llama 3.1 con precisione a 16 bit. Il modello Llama 3.1 70B, ad esempio, raggiunge una velocità di 461 token al secondo, mentre la versione più grande, Llama 3.1 405B, rappresenta il modello open-weight più grande disponibile sul mercato, particolarmente adatto per applicazioni di AI in tempo reale.
Secondo Rodrigo Liang, CEO di SambaNova, la piattaforma offre una versatilità senza precedenti, combinando velocità e precisione per soddisfare una vasta gamma di esigenze aziendali. Gli utenti possono scegliere tra modelli ad alta velocità come il Llama 3.1 70B per applicazioni AI agentiche e il Llama 3.1 405B per esigenze di massima fedeltà nei risultati.
Questa nuova piattaforma supera significativamente le prestazioni di altri attori del settore, come OpenAI, Anthropic e Google, offrendo una soluzione più rapida e meno costosa grazie ai chip SN40L, che superano l’efficienza degli Nvidia H100. Il dottor Andrew Ng, fondatore di DeepLearning.AI, ha elogiato la piattaforma per la sua capacità di generare risultati velocemente, sottolineando la sua rilevanza per i flussi di lavoro AI agentici.
SambaNova Cloud è disponibile in tre livelli: Free, Developer ed Enterprise, offrendo accesso API gratuito agli sviluppatori, con livelli avanzati che permettono velocità superiori e scalabilità per carichi di lavoro complessi.