Immagine AI

WEKA ha presentato Inference Economics Scorecard, un sistema di valutazione delle infrastrutture dedicate all’inferenza dei modelli di intelligenza artificiale che propone di superare l’utilizzo percentuale delle GPU come principale indicatore dell’efficienza computazionale. La metodologia prende in considerazione la quantità di output effettivamente utilizzabile, i consumi energetici, i costi operativi, la latenza e la gestione della memoria durante l’esecuzione dei modelli, con particolare attenzione agli agenti AI che mantengono conversazioni prolungate e utilizzano contesti di grandi dimensioni. Il problema analizzato riguarda il rapporto tra attività computazionale e lavoro realmente produttivo. Durante l’elaborazione di una richiesta, un modello linguistico esegue inizialmente una fase denominata prefill, nella quale analizza i token del prompt e della cronologia disponibile, generando rappresentazioni intermedie dell’attenzione conservate nella key-value cache, o KV cache. Questa memoria permette di riutilizzare i risultati delle elaborazioni precedenti quando la conversazione prosegue, evitando di processare nuovamente le stesse informazioni. La soluzione più rapida consiste nel conservare la cache nella High Bandwidth Memory delle GPU, ma questa risorsa deve contenere anche i pesi del modello e i dati temporanei necessari all’inferenza. L’aumento del numero di utenti, la lunghezza delle conversazioni e la presenza di più agenti simultanei possono provocare l’espulsione di porzioni della cache, che devono essere ricostruite quando una sessione riprende. L’attività di ricalcolo mantiene impegnata la GPU, incrementando o preservando il valore di utilizzo dell’acceleratore senza produrre necessariamente nuovi risultati utili.

Inference Economics Scorecard propone di misurare l’efficienza considerando soltanto gli output che rispettano i requisiti di qualità e gli obiettivi di servizio stabiliti. La metodologia richiede prove continuative di almeno otto ore, mantenendo costanti modello, precisione numerica, carico di lavoro, concorrenza, condizioni della cache, soglie qualitative e Service Level Objectives. Il perimetro della misurazione comprende l’intero sistema di serving e richiede di dichiarare separatamente i consumi e gli effetti delle infrastrutture di raffreddamento e degli impianti. Tra gli indicatori considerati figurano il numero di token utili prodotti per watt consumato, la quantità di output generata per rack, il costo per inferenza completata correttamente, il GPU goodput, il tempo necessario per produrre il primo token e la latenza complessiva della risposta. Vengono inoltre valutati l’efficienza della memoria, la densità operativa, il numero di agenti gestibili simultaneamente e la capacità di mantenere disponibile il contesto delle sessioni. Il goodput rappresenta la quota di elaborazione che produce risultati validi entro i vincoli prestazionali richiesti, distinguendola dal throughput complessivo, che può comprendere risposte tardive o inutilizzabili. Richieste fallite, timeout, tentativi ripetuti e output scartati devono quindi rimanere visibili nelle misurazioni, senza essere conteggiati come lavoro effettivamente consegnato.

WEKA ha collegato questa metodologia all’utilizzo di NeuralMesh con Augmented Memory Grid, una soluzione che estende la disponibilità della KV cache oltre la memoria delle GPU mediante sistemi condivisi di archiviazione NVMe. Le rappresentazioni intermedie possono essere conservate su risorse flash esterne e recuperate attraverso la rete quando devono essere nuovamente utilizzate, riducendo le ricostruzioni del contesto mediante calcolo ripetuto. Il trasferimento dei dati sfrutta tecnologie come Remote Direct Memory Access e NVIDIA GPUDirect Storage, progettate per ridurre il coinvolgimento della CPU nei movimenti tra archiviazione e acceleratori. Il vantaggio dipende dal rapporto tra il costo del trasferimento della cache esistente e quello necessario per ricalcolarla, oltre che dalla velocità della rete, dalla lunghezza dei contesti e dalla frequenza con cui le informazioni vengono riutilizzate. La conservazione esterna comporta a sua volta consumo energetico, occupazione di spazio e costi infrastrutturali che devono essere inclusi nella valutazione economica complessiva.

Una sperimentazione congiunta condotta da WEKA e Nebius ha utilizzato un nodo NVIDIA HGX B300 equipaggiato con otto GPU per eseguire DeepSeek-V4-Pro, riproducendo un carico di lavoro derivato da oltre 5.000 tracce reali di attività agentiche. La configurazione manteneva un insieme di 512 sessioni attive, con uno scheduler impostato per consentire 32 richieste simultanee. Durante una prova di otto ore, il sistema dotato di cache condivisa ha prodotto, secondo i risultati comunicati, una quantità di token di output per ora GPU pari a 3,7 volte quella della configurazione basata esclusivamente sulla memoria HBM. Il 97% delle richieste completate correttamente ha ricevuto il primo token entro cinque secondi, rispetto al 44% della configurazione di riferimento. La quota dei cicli di prefill impiegata per ricostruire contesti già elaborati è inoltre diminuita dal 60% al 6,8%. La cache aggiuntiva utilizzava unità NVMe distribuite su un cluster di otto nodi, sebbene il risultato di serving fosse riferito a un solo nodo GPU. L’incremento del rendimento normalizzato sulle GPU non rappresenta quindi automaticamente una riduzione equivalente dei costi o dei consumi dell’intero sistema. La prova confrontava inoltre la soluzione WEKA con una configurazione esclusivamente HBM, poiché non era disponibile un’implementazione adeguata di offload su DRAM per il modello utilizzato.

Per rendere riproducibili le valutazioni, WEKA ha reso disponibile kvlab, un progetto open source che permette di acquisire e riprodurre le caratteristiche temporali e strutturali delle sessioni degli agenti AI senza distribuire il contenuto originale delle conversazioni o del codice sorgente. Il sistema conserva informazioni relative alla successione delle richieste, alle pause, alla crescita del contesto e alle possibilità di riutilizzo della cache, consentendo di simulare condizioni più vicine ai carichi reali rispetto a sequenze di prompt sintetici indipendenti. Il caricamento delle tracce è documentato anche negli strumenti NVIDIA AIPerf, mentre è prevista un’integrazione con il benchmark AgentX di SemiAnalysis. Inference Economics Scorecard e i relativi strumenti permettono quindi di confrontare configurazioni di inferenza considerando non soltanto l’occupazione degli acceleratori, ma anche la quantità di risposte effettivamente completate, il rispetto dei vincoli di servizio e le risorse complessive necessarie per mantenerle disponibili.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy