Sistema Cerebras CS-1 integrato nel supercomputer Lassen
Un nuovo caso di studio realizzato da Cerebras in collaborazione con il Lawrence Livermore National Laboratory (LLNL) descrive in dettaglio come il sistema Cerebras CS-1 è stato integrato nel supercomputer Lassen di LLNL per consentire progressi nelle simulazioni di fusione nucleare.
LLNL è una struttura di ricerca federale a Livermore, in California, ed è principalmente finanziata dalla National Nuclear Security Administration (NNSA) del Dipartimento dell’Energia degli Stati Uniti. Secondo LLNL, la sua missione è rafforzare la sicurezza degli Stati Uniti sviluppando e applicando scienza, tecnologia e ingegneria di livello mondiale.
Il laboratorio contiene la National Ignition Facility (NIF), che svolge ricerche sulla fusione nucleare con il laser più potente del mondo. Detto questo, alcuni dei principali ostacoli includono esperimenti di confinamento inerziale costosi e dispendiosi in termini di tempo, quindi il laboratorio esegue esperimenti simulati con un pacchetto software multifisico chiamato HYDRA sul supercomputer Lassen. I modelli HYDRA sono convalidati attraverso i dati del mondo reale provenienti dal NIF, il che consente ai modelli di essere più accurati nella previsione dell’esito degli esperimenti del mondo reale.
Parte di HYDRA modella la cinetica atomica e la radiazione e questa parte è chiamata CRETIN. Predice come si comporterà un atomo in determinate condizioni e CRETIN può rappresentare decine di percento del carico di calcolo totale per HYDRA.
Sostituendo CRETIN con un modello di rete neurale profonda (DNN), o il surrogato CRETIN, i ricercatori LLNL possono ridurre l’intensità computazionale.
Il sistema Cerebras CS-1 è stato scelto da LLNL per eseguire l’inferenza del surrogato CRETIN. Il sistema è stato integrato con il supercomputer Lassen e l’installazione ha richiesto meno di 20 ore. I tecnici Cerebras hanno anche installato un “guscio di raffreddamento” e le guide e l’hardware di supporto meccanico.
Gli ingegneri del software di apprendimento automatico hanno lavorato con i colleghi LLNL per scrivere un’API C ++ che consente al codice HYDRA di chiamare il modello surrogato CRETIN. Il modello si basa su un codificatore automatico per comprimere i dati di input in rappresentazioni di dimensioni inferiori, e questi vengono quindi elaborati da un modello predittivo costruito con DJINN, che è un nuovo algoritmo di rete neurale profonda. Questo algoritmo sceglie automaticamente un’architettura di rete neurale appropriata per i dati forniti e non richiede all’utente di regolare manualmente le impostazioni.
Risultati del caso di studio
I primi risultati hanno dimostrato che la combinazione del sistema Lassen con l’acceleratore Cerebras è estremamente efficiente. Collegando il sistema CS-1 alla rete InfiniBand di Lassen, è stato possibile ottenere una larghezza di banda di 1,2 terabit al secondo per il sistema CS-1.
Grazie ai suoi 19 GB di memoria SRAM accoppiata a 400.000 core di elaborazione AI, il sistema CS-1 è stato in grado di eseguire molte istanze del modello DNN relativamente compatto in parallelo. Grazie alla combinazione di larghezza di banda e potenza, HYDRA è stata in grado di eseguire l’inferenza su 18 milioni di campioni al secondo.
Tutto ciò significa che LLNL può ora eseguire esperimenti che in precedenza erano intrattabili dal punto di vista computazionale con il sistema Cerebras e comporta solo una semplice integrazione e una frazione del costo.
La ricerca si concentrerà ora sulla guida della simulazione e sulla fornitura di informazioni sulla simulazione mentre è in esecuzione, il che consente ai ricercatori di monitorare e interrompere la corsa se la simulazione non funziona bene. I risultati di ogni corsa diventano quindi parte del set di allenamento del modello, in modo che possa essere continuamente addestrato. È possibile creare un modello di “apprendimento attivo” e ottimizzare le esecuzioni future selezionando i parametri e il condizionamento iniziale al contorno per il prossimo esperimento.
