Un’esplosione Cambriana nell’apprendimento profondo, parte 3: NVIDIA
Karl Freund
Ora che ho spaventato tutti quelli che detengono NVIDIA NVDA + 1,46%magazzino, e / o dato speranza a coloro che spendono un sacco di soldi per le GPU NVIDIA, prendiamo una visione realistica di come NVIDIA potrebbe mantenere la sua leadership in un mercato molto più affollato. Dovremo esaminare separatamente i mercati della formazione e dell’inferenza.
Una lezione di storia da Nervana
In primo luogo, diamo un’occhiata Intel INTC -5,47%L’esperienza con Nervana. Prima di essere acquisita da Intel, Nervana ha affermato che avrebbe superato le GPU di almeno 10 volte. Poi è successo qualcosa di divertente sulla strada della vittoria: NVIDIA ha sorpreso tutti con TensorCores, offrendo non 2X su Pascal, ma 5X. Quindi NVIDIA si è raddoppiato con NVSwitch, che gli ha permesso di costruire un server DGX-2 a 8 GPU incredibilmente performante (e a $ 400K, piuttosto costoso) che spazza via la maggior parte, se non la totalità, dei concorrenti. Nel frattempo, NVIDIA ha raddoppiato le prestazioni delle sue librerie e driver CuDNN. Ha inoltre creato GPU Cloud per rendere l’utilizzo delle GPU semplice come fare clic e scaricare contenitori di stack software ottimizzati per circa 30 carichi di lavoro Deep Learning e Scientific. Quindi, come ho condiviso nei blog precedenti, Il vantaggio delle prestazioni 10X promesse di Intel è svanito e Nervana-ora-Intel ha dovuto tornare ai tavoli da disegno-promettendo di consegnare un nuovo chip alla fine del 2019. Fondamentalmente, NVIDIA ha dimostrato che oltre 10.000 ingegneri con una solida esperienza e un magazzino pieno di tecnologia può innovare 50 ingegneri brillanti in un garage virtuale. Nessuno avrebbe dovuto essere sorpreso, giusto?
Dai a 10.000 ingegneri una grande sandbox
Ora, in rapida successione, tre anni fino al 2019. Ancora una volta, i concorrenti stanno rivendicando 10 o addirittura 100 volte i vantaggi prestazionali nel loro silicio, che è tutto ancora in fase di sviluppo. NVIDIA ha ancora l’esercito di 10.000 ingegneri, con rapporti tecnici collaborativi con i migliori ricercatori e utenti finali in tutto il mondo. Ora stanno lavorando alle loro migliori idee per il chip 7nm di prossima generazione di NVIDIA, che essenzialmente, a mio parere, trasformerà i prodotti dell’azienda da “GPU con IA” in “chip IA con GPU”.
Quanta sabbia addizionale (area logica) potrebbero utilizzare gli ingegneri NVIDIA per il prodotto di prossima generazione dell’azienda? Mentre la seguente analisi è semplicistica, può essere utile, per un ordine di grandezza, inquadrare la risposta a quella domanda critica.
Iniziamo con il primo ASIC che sembra avere prestazioni eccellenti, il Google GOOGL + 1,49%TPU. Ho visto analisi che stimano che ogni die TPU di Google è intorno ai transistor 2-2.5B. A Volta V100 ha transistor di circa 21B in un processo di produzione a 12 nm. È il più grande chip in grado di produrre TSMC. Dato che NVIDIA va da 12nm a 7nm, il dado può contenere all’incirca 1,96 (1,4×1,4) come molti transistor. Quindi, in teoria, se NVIDIA non aggiungesse alcuna logica grafica (certamente improbabile), avrebbe altri 20 miliardi di transistor con cui giocare – circa dieci volte la quantità di logica in un intero TPU di Google. Supponiamo che la mia logica sia disattivata di un fattore 2. In questo caso, i tecnici NVIDIA hanno ancora 5 volte la logica disponibile per le nuove funzionalità AI. Ora, tutto questo presuppone che NVIDIA vorrà fare di tutto per ottenere prestazioni, invece di abbassare i costi o la potenza. Nel mercato della formazione, però, questo è ciò di cui gli utenti hanno bisogno: tempi di formazione più brevi.
POTREBBE PIACERTI ANCHE
Il mio punto di vista è che NVIDIA ha indubbiamente l’esperienza e il silicio disponibile per innovare, come ha fatto con TensorCores. Ho parlato con molte interessanti startup di chip di intelligenza artificiale, ma quelle che rispetto di più mi dicono che non sottovalutano NVIDIA e non pensano che siano bloccate in una mentalità della GPU. NVIDA DLA e Xavier , rispettivamente un ASIC e un SOC, hanno dimostrato che NVIDIA può creare tutti i tipi di acceleratori, non solo GPU. Molti di questi amministratori delegati di startup hanno deciso, quindi, di tenersi alla larga da NVIDIA e concentrarsi inizialmente sull’inferenza.
La mia opinione è che NVIDIA non risentirà di uno svantaggio a lungo termine delle prestazioni di addestramento. Il problema potrebbe essere rappresentato dai costi elevati del silicio, ma per la formazione i clienti pagheranno. Inoltre, quando si tratta di inferenza, Xavier di NVIDIA è un chip davvero impressionante.
L’esplosione cambriana avvantaggia la programmabilità
Torniamo all’idea di Esplosione Cambriana. NVIDIA sottolinea correttamente che siamo agli albori della ricerca e della sperimentazione algoritmica. Un ASIC che svolge un ottimo lavoro di elaborazione, ad esempio, le reti neurali convenzionali per l’elaborazione delle immagini può (e quasi sicuramente lo farà) svolgere un pessimo lavoro di elaborazione, ad esempio GAN, RNN o reti neurali che devono ancora essere inventate. Ecco dove la programmabilità della GPU accoppiata con l’ecosistema di ricercatori NVIDIA può piuttosto rapidamente adattare una GPU a una nuova forma di elaborazione della rete neurale seNVIDIA può risolvere i problemi di memoria imminenti. L’azienda ha già ridotto in modo significativo il problema della capacità di memoria, ad un prezzo elevato, utilizzando NVLINK per creare una mesh di 8 GPU e 256 GB di memoria ad alta larghezza di banda (HBM). Dovremo attendere la sua GPU di prossima generazione per capire se e come può risolvere anche i problemi di latenza e larghezza di banda, che richiederanno una memoria di circa 10 volte la performance di HBM.
The Inference Wars
Per inferenza, come ho scritto nella prima puntata di questa serie, non c’è un incudine di gorilla da 800 sterline che si dovrebbe spodestare. I mercati dell’inferenza e dei datacenter sono diversi e pronti per una rapida crescita, ma devo chiedermi se il mercato dell’inferenza di massa sarà un mercato particolarmente interessante dal punto di vista dei margini. Dopo tutto, con decine di aziende in corsa per l’attenzione e le vendite, i margini possono essere piuttosto sottili in quello che diventerà un mercato delle materie prime. Ora, qualche deduzione è facile, e alcuni sono molto, molto difficili. Quest’ultimo mercato manterrà margini elevati, in quanto solo SOC complessi dotati di CPU, motori di elaborazione paralleli come Nervana, GPU, DSP e ASIC possono fornire le prestazioni richieste per cose come la guida autonoma. La Naveen Rao di Intel ha recentemente twittato gli indizi che il processore Nervana Inference, in realtà, essere un SOC 10nm, con core CPU Ice Lake. NVIDIA guida già questo approccio con ilXavier SOC per la guida autonoma, e Xilinx XLNX + 4,1%sta adottando un approccio simile con il suo chip Versal entro la fine dell’anno. Qualsiasi startup che si avvi in questa direzione avrà bisogno di una performance / watt molto buona eb) una roadmap di innovazioni che le manterrà in anticipo rispetto alle masse di materie prime.
conclusioni
In sintesi, vorrei ribadire quanto segue:
Il futuro dell’IA è abilitato dal silicio specifico per le applicazioni e il mercato dei chip specializzati diventerà enorme.
Le più grandi società di silicio del mondo intendono vincere nelle guerre chip chip del futuro. Mentre Intel sta giocando al rialzo, non sottovalutare cosa può fare.
Ci sono decine di startup ben finanziate, e alcune avranno successo. Se si desidera investire in un’impresa venture-venture, essere certi che non sono sprezzanti della potenza di fuoco NVIDIA.
La Cina si priverà in larga misura della tecnologia IA negli Stati Uniti nei prossimi 5 anni.
NVIDIA ha oltre 10.000 ingegneri e probabilmente sorprenderà tutti noi con le GPU di ultima generazione di fascia alta per l’intelligenza artificiale.
Il mercato dell’inferenza crescerà rapidamente e ci sarà spazio per molti dispositivi specifici dell’applicazione. Gli FPGA, in particolare la prossima generazione di Xilinx, possono svolgere un ruolo importante qui.
