Il primo supercomputer con architettura del trasformatore incisa direttamente nei chip di silicio è finalmente una realtà, grazie a Etched AI. Questo supercomputer all’avanguardia sta portando avanti un approccio rivoluzionario incorporando direttamente l’architettura del trasformatore nel nucleo dei suoi chip.
Questo supercomputer trasformatore è dotato di specifiche impressionanti, includendo 8xA100, 8xH100 e 8xSohu di NVIDIA. Il risultato è un sistema che raggiunge prestazioni senza precedenti, in particolare per quanto riguarda i token al secondo (TPS).
L’architettura del trasformatore consente l’elaborazione in tempo reale di agenti vocali, capaci di acquisire migliaia di parole in millisecondi, stabilendo così nuovi standard di velocità ed efficienza di calcolo.
Oltre alle tradizionali funzionalità GPU, questo supercomputer apre la porta a sviluppatori per realizzare prodotti che erano precedentemente considerati impossibili. L’integrazione della ricerca ad albero migliora le esperienze di codifica, consentendo al sistema di confrontare centinaia di risposte in parallelo. Ciò non solo aumenta l’efficienza, ma apre anche nuove possibilità per la creazione di applicazioni sofisticate.
Una delle caratteristiche distintive del supercomputer trasformatore è la decodifica speculativa multicast, che consente la generazione di nuovi contenuti in tempo reale. Questa funzionalità apre la strada a applicazioni dinamiche e reattive in grado di adattarsi e generare nuovi contenuti istantaneamente.
Il blog di Etched afferma che questa architettura permetterà l’esecuzione di modelli con trilioni di parametri con un’efficienza senza pari. Con un solo core, il sistema supporta uno stack software completamente open source, espandibile fino a modelli con 100 trilioni di parametri.
Sfruttando la ricerca del raggio e la decodifica MCTS, il supercomputer utilizza 144 GB di memoria HBM3E per chip, adattando sia le varianti Mixture of Experts (MoE) che quelle del trasformatore.
Nel frattempo, stiamo assistendo all’avvento di modelli di spazio degli stati come Mamba, che potrebbero potenzialmente sostituire i Transformers. Sarà interessante seguire lo sviluppo di entrambe queste innovazioni in parallelo.