AMD ha completato l’acquisizione di Taalas, azienda fondata nel 2023 e specializzata nella progettazione di semiconduttori dedicati all’esecuzione di specifici modelli di intelligenza artificiale. La tecnologia sviluppata da Taalas integra memorizzazione ed elaborazione dei parametri direttamente nel silicio, riducendo i trasferimenti tra memoria e unità computazionali. L’azienda dichiara di poter trasformare un nuovo modello AI in un circuito personalizzato nell’arco di due mesi, senza ricorrere a memoria HBM, packaging avanzato, integrazione tridimensionale o raffreddamento a liquido.
Il dimostratore tecnologico HC1 implementa direttamente Llama 3.1 8B attraverso un chip realizzato con processo produttivo TSMC a 6 nanometri, comprendente 53 miliardi di transistor su una superficie di 815 millimetri quadrati. La configurazione server presenta un assorbimento dichiarato di 2,5 kW e raggiunge, nei test interni di Taalas, 17.000 token al secondo per singolo utente, utilizzando sequenze di ingresso e uscita di 1.000 token ciascuna. Nonostante la specializzazione hardware, HC1 supporta finestre contestuali configurabili e adattamenti del modello attraverso tecniche Low-Rank Adaptation (LoRA).
La prima generazione utilizza una quantizzazione mista a 3 e 6 bit, che introduce una degradazione qualitativa rispetto alle implementazioni GPU. La seconda generazione prevede l’utilizzo del formato floating point a 4 bit. AMD integrerà queste tecnologie nella propria roadmap di accelerazione dell’inferenza, affiancandole alle GPU Instinct, ai processori EPYC, all’ambiente software ROCm e all’infrastruttura rack-scale Helios.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)
