Recentemente, in occasione della Conferenza internazionale sull’automazione della progettazione elettronica (EDA), Bill Dally, Chief Scientist presso NVIDIA, ha presentato “ChipNeMo”, un Large Language Model (LLM) progettato su misura dal team di ingegneri dell’azienda. ChipNeMo è stato educato sui dati proprietari di NVIDIA per generare e affinare il software usato nella progettazione di semiconduttori, sfruttando i vantaggi offerti da NVIDIA NeMo, un’infrastruttura cloud che facilita la creazione e distribuzione di modelli di intelligenza artificiale generativa di vasta scala.
“Abbiamo intrapreso un passo fondamentale nell’impiego di LLM nell’ambito della sofisticata progettazione dei semiconduttori,” ha affermato Dally, evidenziando come i settori altamente tecnici possano trarre vantaggio dall’addestramento di modelli di intelligenza artificiale generativa sui propri dati.
Il team NVIDIA ha esaminato vari utilizzi per ChipNeMo, scegliendo di concentrarsi inizialmente su tre applicazioni: un chatbot, un generatore di codice, e uno strumento analitico. Quest’ultimo, che automatizza le onerose attività di aggiornamento delle descrizioni dei bug, ha ricevuto particolarmente buone recensioni.
Il chatbot sviluppato è in grado di fornire risposte rapide a domande tecniche sulla GPU, facilitando la ricerca di documentazione per gli ingegneri. Il generatore di codice, attualmente impostato per produrre frammenti di codice lungi 10-20 linee in linguaggi specifici per la progettazione dei chip, è destinato a essere integrato con gli strumenti esistenti, costituendo un assistente di valore per i progetti in fase di realizzazione.
La pubblicazione scientifica di NVIDIA dettaglia come il gruppo ha curato i dati di progettazione per sviluppare un modello di intelligenza artificiale generativa settoriale, un processo replicabile in vari ambiti industriali. Partendo da un modello di base, hanno personalizzato l’approccio usando NVIDIA NeMo, incluso nella suite software NVIDIA AI Enterprise, arrivando a formare un sistema dotato di 43 miliardi di parametri, addestrato su più di un trilione di token.
Perfezionato attraverso due fasi di addestramento, il primo ciclo ha lavorato con circa 24 miliardi di token di dati interni, mentre il secondo ha incluso circa 130.000 conversazioni ed esempi progettuali.
Mark Ren, a capo della ricerca NVIDIA e autore principale dello studio, ha enfatizzato la rilevanza della personalizzazione per i LLM. I modelli ChipNeMo, nonostante i loro “soli” 13 miliardi di parametri, hanno superato modelli generici di dimensioni maggiori in alcune specifiche attività di progettazione dei chip. Ren ha tuttavia sottolineato l’importanza della selezione e pulizia dei dati, così come dell’uso di strumenti all’avanguardia per facilitare il lavoro.
L’industria dei semiconduttori, alle prese con l’aumento della complessità dei design dovuto alla miniaturizzazione dei transistor, si confronta con un incremento del carico di lavoro di quattro volte, mentre gestisce una carenza di talenti del 10%-20%. Sin dal 2000, la media dei transistor per chip è cresciuta di 1000 volte, afferma Synopsys.
I costi di progettazione e produzione dei semiconduttori hanno subito un significativo incremento, dovuto a fattori quali la crescente complessità dei design, la diminuzione delle dimensioni delle caratteristiche, un numero maggiore di maschere, costi più elevati delle attrezzature e requisiti di qualità più stringenti. McKinsey ha registrato un aumento del 50% del costo medio per transistor dal 2013.
L’intelligenza artificiale generativa può essere cruciale nel processo produttivo dei semiconduttori, toccando ogni aspetto dalla progettazione alla fabbricazione, dai test al packaging. “Con il passare del tempo, i LLM potranno assistere i processi a tutti i livelli,” ha prospettato Dally. “E’ possibile che i progettisti di semiconduttori diventino direttori d’orchestra, con gli LLM che compongono la musica.”