NVIDIA ha sviluppato una tecnica denominata Cross-Model KV Cache Transfer, progettata per ridurre il costo computazionale e la latenza che si verificano quando un agente AI passa da un modello linguistico a un altro durante l’esecuzione di attività prolungate. Nei sistemi che utilizzano il routing dinamico, infatti, un agente può affidare parti diverse dello stesso compito a modelli differenti, scegliendo per esempio un modello più piccolo ed economico per alcune operazioni e uno più grande per quelle che richiedono maggiori capacità. Il problema è che ogni modello rappresenta e memorizza il contesto in modo differente: quando avviene il passaggio, il nuovo modello non può normalmente utilizzare direttamente la KV cache prodotta dal precedente e deve quindi elaborare nuovamente l’intera conversazione attraverso la fase di prefill.
La KV cache contiene le rappresentazioni Key e Value calcolate dal modello durante l’elaborazione del contesto. Quando un LLM riceve un prompt, la fase di prefill processa inizialmente tutti i token in ingresso e salva queste informazioni nella cache; durante la generazione dei token successivi, il modello può riutilizzarle senza ricalcolare continuamente tutto il contesto precedente. Questo meccanismo diventa particolarmente importante nelle conversazioni lunghe e nei workflow agentici, nei quali il contesto può raggiungere dimensioni considerevoli. Se però il sistema cambia modello, la cache già costruita non è direttamente compatibile con quella del nuovo modello e il vantaggio viene perso, con un aumento del carico computazionale proporzionale sia alla dimensione del modello sia alla lunghezza dell’input.
La tecnica proposta da NVIDIA parte dall’osservazione che modelli appartenenti alla stessa famiglia, pur avendo dimensioni differenti, possono conservare all’interno della KV cache rappresentazioni caratterizzate da relazioni relativamente semplici. I ricercatori hanno quindi verificato se fosse possibile trasformare direttamente la cache prodotta da un modello sorgente nel formato richiesto da un modello target, evitando di ricorrere a un ulteriore addestramento complesso. Gli esperimenti condotti sui modelli Qwen3 14B e Qwen3 32B hanno mostrato che le informazioni provenienti da un singolo layer del modello da 14 miliardi di parametri erano sufficienti a spiegare circa il 56% della variazione delle rappresentazioni Key e il 32% di quelle Value del modello da 32 miliardi. Utilizzando contemporaneamente informazioni provenienti da più layer, le percentuali sono salite rispettivamente al 79% per le Key e al 65% per le Value.
Per realizzare concretamente la conversione, NVIDIA ha utilizzato mapper lineari basati su ridge regression applicati separatamente alle diverse attention head. Il sistema identifica innanzitutto quali layer del modello sorgente forniscono le informazioni più utili per ciascun layer del modello target. Successivamente viene rimossa la componente RoPE, utilizzata dai transformer per codificare l’informazione posizionale, e viene calcolata una trasformazione capace di convertire le rappresentazioni Key e Value del modello sorgente negli spazi corrispondenti del modello destinatario. Le trasformazioni vengono addestrate separatamente per ciascuna head e per le componenti Key e Value, senza condividere parametri tra queste strutture.
Anche il volume di dati necessario per calibrare queste trasformazioni è risultato relativamente contenuto. I ricercatori hanno utilizzato soltanto 500 sequenze provenienti dal dataset FineWeb-Edu, ciascuna con una lunghezza di 1.024 token. Una volta ottenuto il mapper, la KV cache precedentemente calcolata dal modello sorgente può essere convertita direttamente nel formato utilizzabile dal modello target, permettendo a quest’ultimo di iniziare la fase di decoding senza dover ripetere il prefill dell’intero contesto.
La tecnica è stata testata su sei combinazioni di modelli appartenenti alle famiglie Qwen3, Llama 3.1 e Mistral 3. In alcune configurazioni, il trasferimento della KV cache tramite trasformazioni lineari ha consentito al modello target di mantenere tra il 73% e il 98% dell’accuratezza ottenuta elaborando normalmente il contesto attraverso un nuovo prefill. Il guadagno principale riguarda però la velocità: rispetto alla rielaborazione completa della conversazione, il trasferimento della cache è risultato tra 2,7 e 25 volte più rapido, riducendo in modo significativo il costo associato al cambio di modello all’interno dello stesso workflow.
Il metodo presenta ancora alcuni limiti strutturali. Gli esperimenti sono stati condotti principalmente tra modelli compatibili appartenenti alla stessa famiglia e caratterizzati dallo stesso numero di KV head e dalla stessa dimensionalità per head. Non è quindi ancora dimostrato che una trasformazione analoga possa funzionare con la stessa efficacia tra architetture molto differenti o tra famiglie di modelli non direttamente compatibili. In alcune combinazioni basate su Mistral 3, inoltre, il semplice mapper lineare ha determinato una perdita di accuratezza più marcata.
Per affrontare questi casi, i ricercatori hanno sostituito la trasformazione lineare con un MLP, un percettrone multistrato capace di modellare relazioni non lineari tra le rappresentazioni dei due modelli. Questa modifica ha migliorato l’accuratezza fino a 37 punti percentuali nelle configurazioni in cui la trasformazione lineare risultava insufficiente. I risultati indicano quindi che la KV cache può essere trasferita tra modelli compatibili utilizzando trasformazioni relativamente leggere, mentre combinazioni con differenze maggiori nella struttura interna potrebbero richiedere mapper più complessi. L’approccio apre così alla possibilità di realizzare sistemi di routing nei quali il passaggio tra modelli di dimensioni differenti avvenga senza perdere completamente il lavoro computazionale già svolto sul contesto precedente.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)