SambaNova Systems ha recentemente annunciato un traguardo eccezionale nel campo dell’intelligenza artificiale generativa: il modello di istruzione dei parametri Llama 3 8B ha raggiunto la straordinaria velocità di 1.000 token al secondo. Questo traguardo è stato convalidato da Artificial Analysis, un’azienda indipendente di test. Questo nuovo record di velocità ha importanti implicazioni aziendali, tra cui tempi di risposta più rapidi, migliore utilizzo dell’hardware e costi inferiori.
SambaNova Systems è un fornitore di soluzioni di intelligenza artificiale focalizzato sulle imprese, che offre sia hardware che software. L’azienda sviluppa chip AI riconfigurabili e ha creato il proprio stack software, che include il modello Samba-1. Questo modello, conosciuto anche come Samba-CoE (Combinazione di Esperti), ha 1 trilione di parametri ed è stato ottimizzato per l’uso aziendale. SambaNova sta spingendo i limiti della velocità utilizzando il modello Samba-1 Turbo, e prevede di incorporare questi aggiornamenti di velocità nel suo modello principale per le imprese.
La chiave delle prestazioni di SambaNova risiede nella sua architettura del flusso di dati riconfigurabile, che consente un’ottimizzazione continua delle risorse per i singoli livelli e kernel della rete neurale. Questa architettura permette di ottenere guadagni significativi in termini di efficienza e prestazioni, garantendo al contempo un livello elevato di qualità richiesto dalle aziende.
SambaNova sta utilizzando la precisione a 16 bit per raggiungere la velocità di 1.000 token al secondo, mantenendo un livello di qualità superiore. Questo è particolarmente importante per gli utenti aziendali che richiedono prestazioni rapide e affidabili per i loro flussi di lavoro basati su agenti AI. La velocità aumentata offre vantaggi economici significativi, consentendo una maggiore efficienza e riducendo i costi complessivi dell’infrastruttura.