Vidraft ha reso disponibile VKAE, acronimo di Vidraft Kernel Acceleration Engine, un motore di accelerazione dell’inferenza progettato per aumentare il throughput dei modelli linguistici senza modificare la qualità delle risposte. Il punto tecnico centrale riguarda l’ottimizzazione a livello kernel: invece di intervenire solo sul modello o sulla logica applicativa, VKAE lavora sullo strato più vicino all’esecuzione hardware, dove vengono gestite le operazioni necessarie alla generazione dei token.
Secondo i dati comunicati dall’azienda, VKAE può aumentare la capacità di elaborazione fino a 23,4 volte rispetto ai metodi di serving standard nello stesso ambiente GPU. Questo tipo di miglioramento è particolarmente rilevante perché l’inferenza è diventata uno dei costi principali dell’AI generativa. Ogni richiesta a un modello produce consumo di memoria, tempo GPU, trasferimenti dati e generazione sequenziale di token. Ridurre il costo operativo per token significa rendere più sostenibili chatbot, agenti AI, sistemi di coding, strumenti aziendali e applicazioni che devono servire molti utenti contemporaneamente.
La scelta di distribuire un container Docker integrato è importante quanto il motore di accelerazione in sé. L’utente non deve ricostruire manualmente l’ambiente di sviluppo, installare dipendenze complesse o configurare ogni componente del runtime. Modello, pesi, ambiente di serving e ottimizzazioni vengono forniti in un pacchetto eseguibile, pensato per consentire test diretti su hardware GPU proprietario. Questo rende la verifica delle prestazioni più concreta, perché sposta il confronto dai benchmark dichiarati alla riproducibilità su infrastrutture reali.
VKAE supporta anche API compatibili con OpenAI, un dettaglio tecnico rilevante per l’integrazione. Molte applicazioni AI sono già costruite attorno a chiamate API strutturate secondo quel formato, quindi la compatibilità consente di inserire il motore in servizi esistenti senza riscrivere completamente il livello applicativo. Per le aziende, questo riduce il costo di adozione e permette di testare l’accelerazione su pipeline già operative.
L’ottimizzazione è stata applicata anche a JGOS-398B, un modello di dimensioni molto elevate. Questo aspetto mostra che il target non è soltanto il serving di modelli compatti, ma anche l’esecuzione di sistemi più grandi, dove memoria, parallelismo e latenza diventano fattori critici. Nei modelli di grandi dimensioni, anche piccoli miglioramenti nel kernel o nella gestione dei calcoli possono generare effetti rilevanti sulla capacità complessiva del cluster.
Vidraft ha scelto di mantenere riservata l’implementazione interna dei kernel, ma ha pubblicato una leaderboard e il container integrato per permettere verifiche esterne. È un equilibrio interessante tra protezione del know-how e trasparenza prestazionale: il codice più sensibile resta proprietario, mentre gli utenti possono comunque misurare il comportamento del sistema sul proprio hardware. In un mercato dove le prestazioni dichiarate sono spesso difficili da confrontare, la riproducibilità diventa un elemento di credibilità tecnica.
Attualmente il supporto riguarda soprattutto GPU Nvidia Blackwell B200 e Hopper H100/H200, con l’estensione progressiva ad altre configurazioni come A10G. Questa scelta riflette l’evoluzione del mercato enterprise, dove le aziende cercano di sfruttare meglio l’hardware già acquistato e di aumentare il numero di richieste servibili senza moltiplicare linearmente i costi infrastrutturali.
VKAE si inserisce quindi in una fase in cui l’AI non viene più ottimizzata solo aumentando dimensione dei modelli o potenza dei chip. Una parte crescente del vantaggio competitivo passa dal livello di inferenza: kernel, runtime, serving, batching, compatibilità API, containerizzazione e controllo del costo per token. Per chi sviluppa applicazioni generative su larga scala, accelerare il modello mantenendo stabile la qualità non è un dettaglio tecnico, ma una condizione per rendere l’AI utilizzabile in produzione.