Samsung SDS ha introdotto nella propria piattaforma cloud un servizio NPUaaS basato su Renegade, il processore neurale di seconda generazione sviluppato dalla società sudcoreana FuriosaAI. Il nuovo servizio permette alle aziende di utilizzare risorse hardware specializzate per l’intelligenza artificiale senza acquistare direttamente i server né installarli all’interno dei propri data center. NPUaaS significa Network Processing Unit as a Service, cioè disponibilità delle NPU attraverso un servizio cloud a sottoscrizione. Le risorse vengono richieste in base alle necessità dell’impresa e utilizzate attraverso Samsung Cloud Platform, indicata anche con la sigla SCP.
Renegade, il cui nome viene abbreviato in RGND, è un processore progettato principalmente per l’inferenza dei modelli di intelligenza artificiale. L’inferenza è la fase nella quale un modello già addestrato viene utilizzato per elaborare nuovi dati e produrre un risultato. Le attività supportate possono comprendere la generazione di risposte da parte di un modello linguistico, l’analisi di documenti, la classificazione dei contenuti e il riconoscimento delle informazioni presenti nelle immagini. Il chip non viene quindi presentato come una piattaforma destinata prioritariamente all’addestramento dei grandi modelli, ma come un acceleratore per il loro utilizzo all’interno di servizi già operativi. Questa distinzione è importante perché addestramento e inferenza presentano requisiti differenti. L’addestramento richiede grandi quantità di calcolo per modificare i parametri del modello, mentre l’inferenza deve produrre risposte rapidamente, sostenere un numero elevato di richieste e contenere i consumi e i costi operativi.
FuriosaAI ha sviluppato Renegade con l’obiettivo di offrire una maggiore efficienza energetica e un migliore rapporto tra prestazioni e costo rispetto all’impiego generalizzato delle GPU. La notizia non presenta però benchmark, consumi misurati o confronti eseguiti su modelli specifici. Il vantaggio rispetto alle GPU deve quindi essere considerato una caratteristica dichiarata del prodotto, da verificare in base al carico di lavoro effettivamente eseguito. Le GPU rimangono acceleratori molto flessibili, utilizzabili sia per l’addestramento sia per numerose forme di inferenza. Una NPU specializzata può invece risultare più efficiente quando l’architettura del modello, le librerie software e le operazioni richieste sono compatibili con le funzioni per cui il chip è stato progettato.
Con il servizio di Samsung SDS, i clienti non devono sostenere l’investimento iniziale necessario per acquistare un server NPU. Non devono inoltre predisporre direttamente alimentazione, raffreddamento, rete, archiviazione e manutenzione dell’infrastruttura fisica. Le capacità di calcolo vengono fornite attraverso il cloud e possono essere adattate alla dimensione del servizio AI. Samsung SDS consente di selezionare configurazioni composte da una, due, quattro oppure otto NPU. La possibilità di scegliere il numero di acceleratori permette di partire da installazioni limitate e aumentare le risorse quando crescono il volume dei dati o il numero delle richieste. Una startup può utilizzare una configurazione ridotta per avviare un’applicazione, mentre una grande impresa può assegnare più chip a servizi che devono sostenere carichi superiori.
La scalabilità non dipende però soltanto dal numero di NPU disponibili. Il modello e il software di inferenza devono essere capaci di distribuire correttamente il lavoro tra più acceleratori. Devono inoltre essere considerate la memoria disponibile, la dimensione del modello, il numero di utenti simultanei e la velocità con cui devono essere prodotte le risposte. Samsung SDS prevede di integrare NPUaaS con gli altri servizi di Samsung Cloud Platform. Le NPU potranno essere utilizzate insieme alle risorse di calcolo, ai sistemi di archiviazione ad alte prestazioni e alle reti ad alta velocità già presenti nella piattaforma. Questa integrazione consente di costruire un’infrastruttura completa senza limitare il progetto al solo acceleratore. I dati utilizzati dal modello possono essere conservati nei servizi di storage, preparati attraverso le risorse di calcolo e trasferiti alle NPU mediante la rete del cloud. La velocità dell’archiviazione e della rete può incidere direttamente sulle prestazioni dell’inferenza. Un acceleratore potente non viene utilizzato pienamente se i dati arrivano troppo lentamente o se il trasferimento tra i diversi componenti produce tempi di attesa elevati.
L’impiego di un’infrastruttura cloud integrata permette inoltre di collegare l’inferenza AI alle applicazioni aziendali, ai database e ai sistemi attraverso i quali vengono gestite le richieste degli utenti. Il servizio può quindi essere utilizzato come parte di un ambiente più ampio destinato alla gestione di chatbot, documenti, immagini o altri processi automatizzati. Samsung SDS intende rendere NPUaaS disponibile anche all’interno del proprio ambiente di cloud sovrano. Questa configurazione è rivolta in particolare agli enti pubblici e alle organizzazioni soggette a requisiti rigorosi in materia di sicurezza, trattamento dei dati e controllo dell’infrastruttura. Un cloud sovrano viene progettato per mantenere dati, sistemi e attività operative entro condizioni territoriali, giuridiche e organizzative definite. La sovranità non dipende soltanto dalla posizione fisica dei server, ma può comprendere il controllo degli accessi, la gestione delle chiavi, le procedure amministrative e la conformità alle regole applicabili al settore pubblico.
L’introduzione di una NPU sviluppata in Corea del Sud in questo ambiente permette inoltre di ridurre la dipendenza esclusiva dagli acceleratori prodotti da fornitori stranieri. La disponibilità di hardware nazionale può assumere importanza nei servizi pubblici e nelle infrastrutture considerate strategiche. La scelta di Renegade si inserisce nel tentativo della Corea del Sud di rafforzare il proprio ecosistema dei semiconduttori per l’intelligenza artificiale. FuriosaAI è una delle aziende locali impegnate nello sviluppo di acceleratori alternativi alle GPU tradizionalmente utilizzate nei data center.
Per un produttore di chip, la disponibilità attraverso un grande fornitore cloud rappresenta un passaggio importante. Le imprese possono provare l’hardware senza acquistare sistemi dedicati e confrontarne il comportamento con le infrastrutture già utilizzate. Per Samsung SDS, l’integrazione consente invece di ampliare la scelta di risorse AI disponibili nella propria piattaforma e di proporre configurazioni specializzate per l’inferenza. L’azienda presenta il servizio come un modo più flessibile ed economicamente efficiente per utilizzare capacità di calcolo avanzate.
Il costo reale dipenderà tuttavia dalle tariffe applicate, dal numero di NPU richieste, dalla durata dell’utilizzo e dall’efficienza raggiunta con il modello adottato. Questi elementi non sono stati specificati nell’annuncio. Non sono stati pubblicati neppure dati relativi ai framework supportati, ai formati dei modelli compatibili, alla memoria disponibile per ciascun acceleratore o alle prestazioni ottenute con i principali modelli linguistici e visivi. Prima di adottare il servizio, un’impresa dovrà quindi verificare se il proprio modello possa essere eseguito su Renegade senza modifiche rilevanti e se il relativo stack software supporti tutte le operazioni necessarie. Dovrà inoltre confrontare latenza, capacità di elaborazione, consumo delle risorse e costo complessivo con le alternative basate su GPU. La disponibilità in modalità cloud riduce però la difficoltà iniziale della sperimentazione. Le aziende possono assegnare una quantità limitata di risorse a una prova, misurare le prestazioni su un carico reale e aumentare la configurazione soltanto dopo aver verificato la compatibilità.
Il lancio di NPUaaS trasforma quindi Renegade da componente hardware acquistabile e installabile in una risorsa utilizzabile su richiesta. Il cliente non deve costruire direttamente un’infrastruttura NPU, mentre Samsung SDS gestisce l’integrazione del processore con archiviazione, calcolo e rete. La possibilità di selezionare da una a otto NPU rende il servizio utilizzabile da organizzazioni di dimensioni differenti. L’estensione prevista al cloud sovrano cerca inoltre di rispondere alle esigenze del settore pubblico e degli ambienti sottoposti a controlli di sicurezza più rigorosi. La reale competitività del servizio potrà essere valutata quando saranno disponibili prezzi, benchmark e dati relativi alla compatibilità con i modelli utilizzati in produzione. Il lancio rappresenta comunque un passaggio concreto verso la disponibilità commerciale, attraverso il cloud, di acceleratori AI sviluppati in Corea del Sud.