Esperanto ha annunciato maggiori dettagli a Hot Chips sul suo tanto atteso acceleratore AI progettato per l’elaborazione dell’inferenza a basso consumo energetico. Fondato da Dave Ditzel, co-inventore di RISC e fondatore e CEO di Transmeta, Esperanto ha inizialmente ricevuto molta attenzione nel 2017 in associazione con il suo lavoro con Facebook e la CPU open source RISC-V. Da allora, la società è stata silenziosamente a capofitto, progettando e implementando una forma completamente nuova di silicio di accelerazione AI utilizzando quei core RISC-V. Per portare l’azienda al livello successivo, il consiglio ha introdotto Art Swift, precedentemente con Transmeta, MIPS e Wave Computing, come CEO.
L’attenzione iniziale per il nuovo Esperanto ET-SoC-1 sarà nel mercato caldo dei motori di raccomandazione per l’e-commerce e le società di social media, ma l’azienda vede emergere anche altre opportunità nell’IA edge. Il primo chip è tornato in casa e viene allevato ora, quindi probabilmente stiamo esaminando la disponibilità del prodotto nel 2022 e, naturalmente, tutti i dati su prestazioni e potenza oggi sono stime provenienti da simulazioni ed emulazione hardware.
Prestazioni ed efficienza
Diamo un’occhiata alle prestazioni del chip e all’efficienza energetica. Esperanto ha condiviso sia l’elaborazione delle immagini che i benchmark MLPerf di raccomandazione per una scheda a sei chip rispetto alla NVIDIA A10 di fascia bassa e alla vecchia T4, e contro questi sostenitori sembra piuttosto impressionante. Poiché non ci sono ancora veri operatori storici per le raccomandazioni accelerate, questa efficienza energetica sarà interessante per le aziende di e-commerce. Anche in questo caso, queste sono stime della simulazione e dell’emulazione hardware.
Guardando le prestazioni e l’efficienza del nuovo chip Esperanto per i motori di raccomandazione mostra … [+]
Sfortunatamente, il chip più efficiente dal punto di vista energetico che conosciamo, il Qualcomm Technologies Cloud AI100, non ha ancora pubblicato questo benchmark. Ma plaudo alla squadra di Esperanto per aver messo un vero punto di riferimento sul tabellone, non solo un numero TOPS. Si noti che i numeri di potenza sopra riportati sono TDP da schede tecniche, non misurazioni di potenza a parete.
Perché RISC-V?
RISC-V è l’implementazione open source dei core CPU RISC, progettata per l’elaborazione a basso consumo tipicamente in applicazioni embedded. Questo è il primo e più veloce design RISC-V che abbiamo visto per i carichi di lavoro dei data center ad alte prestazioni. Esperanto ha scelto questo approccio perché il team di progettazione voleva estendere i core RISC con funzionalità AI come unità di elaborazione vettoriale e perché lo stack software per RISC-V sta procedendo bene. Il braccio avrebbe potuto essere un’opzione, ma i core del braccio sono troppo grandi per un design come l’ET-SoC-1. E, naturalmente, la personalizzazione dei core Arm richiede una costosa licenza architettonica.
C’è un altro importante vantaggio nell’usare i core RISC invece di un array personalizzato di core moltiplicati/accumulati come altri hanno fatto. Tutte le startup di intelligenza artificiale lottano con la necessità di progettare kernel computazionali personalizzati ottimizzati per l’architettura unica a portata di mano. Questo è un lavoro solo per i Ninja, in genere i progettisti hardware stessi fanno questo lavoro. Ma poiché l’esperanto utilizza il set di istruzioni RISC-V e poiché l’architettura è aperta e ampiamente compresa, prevediamo che l’azienda sarà in grado di coinvolgere la comunità per sviluppare queste routine speciali. Non solo questo salverà lo sforzo ingegneristico dell’esperanto, ma dovrebbero essere in grado di reclutare molto aiuto dai loro potenziali clienti.
Non vediamo l’ora di esaminare i dettagli del chip Esperanto nel prossimo futuro. Dalla presentazione di HotChips, si può vedere che hanno progettato una nuova architettura di memoria che dovrebbe supportare le enormi tabelle necessarie per la previsione delle raccomandazioni.
Conclusioni
Mentre il chip Esperanto sembra molto efficiente dal punto di vista energetico, i ritardi che l’azienda ha sperimentato influenzeranno la sua posizione competitiva. Aziende come Qualcomm Technologies stanno già distribuendo processori di inferenza AI con un massimo di 12 TOPS per watt per la loro SKU a basso consumo. Ovviamente TOPS non tiene conto dei benefici della memoria e delle ottimizzazioni di rete sviluppate da Esperanto. So che sei stanco di sentirmi dire questo, ma tutto dipenderà dal software, di cui non sappiamo ancora molto, e dalle prestazioni reali delle applicazioni come il resto della suite MLPerf. Quindi, ancora una volta, restate sintonizzati!
