Il leggendario progettista di chip Jim Keller, noto per aver sviluppato l’architettura Zen di AMD e il chip di guida autonoma originale di Tesla, ha annunciato il lancio del primo hardware dedicato all’inferenza dell’intelligenza artificiale (AI).
Secondo quanto riportato da TechRadar, TenStorrent, azienda guidata da Keller, ha presentato i moduli hardware specifici per l’inferenza denominati “Grayskull e75” e “Grayskull e150”, entrambi dotati di processore Grayskull basato su “RISC-V”, un’alternativa alle GPU.
Il modello Grayskull e75 è una scheda PCIe Zen 4 a basso profilo e mezza lunghezza con un singolo processore Grayskull che funziona a 75 W. Il modello e150 di fascia alta è una scheda PCIe Zen 4 di altezza standard, tre quarti di lunghezza, che funziona fino a 200 W e include un processore Grayskull bilanciato tra potenza e throughput.
Il processore Grace Skull, realizzato con un processo a 12 nanometri, integra una griglia da 120 core nota come TenSix e 120 megabyte (MB) di SRAM. Viene fornito con hardware di comunicazione di rete, consentendo la comunicazione diretta tra i processori tramite la rete anziché tramite DRAM. L’efficienza energetica è di 65 watt e ha una prestazione di 92 teraflop.
TenTorrent ha anche rilasciato un kit di sviluppo software basato su Grayskull (DevKits). “TT-Buda” è destinato agli utenti che vogliono utilizzare immediatamente il modello, mentre “TT-Metalium” è per chi desidera personalizzare o creare nuovi modelli.
Il kit di sviluppo Grayskull include supporto per attività come l’elaborazione del linguaggio naturale con BERT, il riconoscimento delle immagini con ResNet, il riconoscimento vocale e la traduzione con Whisper, il rilevamento di oggetti in tempo reale e la segmentazione delle immagini con YOLOv5. Supporta anche vari altri modelli, inclusi U-Net.
Questo lancio fa parte di una partnership con l’Advanced Semiconductor Technology Center (LSTC) del Giappone, che utilizzerà il RISC-V e l’IP del chiplet di TenStorrent per costruire chip di accelerazione AI avanzati a 2 nm.
È degno di nota il cambiamento della domanda di chip AI, che si è recentemente spostata dall’apprendimento all’inferenza. Secondo il Wall Street Journal (WSJ), oltre il 40% del business dei data center di NVIDIA proviene ora dall’implementazione di sistemi per l’inferenza anziché per l’apprendimento tramite intelligenza artificiale.
Gli analisti del gruppo finanziario svizzero UBS hanno stimato che il 90% della domanda di semiconduttori AI provenga dall’apprendimento, ma prevedono che l’inferenza rappresenterà il 20% del mercato entro il prossimo anno. Di conseguenza, non solo i principali concorrenti di NVIDIA come Intel e AMD, ma anche numerose startup di chip AI stanno sviluppando semiconduttori per l’inferenza. Anche grandi aziende come Meta, Microsoft, Google e Amazon stanno accelerando lo sviluppo di semiconduttori per l’inferenza per rimanere competitive.