Immagine AI

Amazon Web Services ha introdotto il 17 novembre 2026 il supporto per KV cache-aware routing negli endpoint di inferenza in tempo reale di Amazon SageMaker AI. La funzionalità utilizza le informazioni sul contenuto della memoria cache comunicate direttamente dai container che ospitano i modelli, allo scopo di indirizzare le richieste verso le risorse computazionali che dispongono già di una parte delle elaborazioni necessarie. La tecnologia è destinata principalmente ai sistemi conversazionali, agli agenti AI e alle applicazioni basate su Retrieval-Augmented Generation (RAG), nei quali diverse interrogazioni possono contenere porzioni di testo ricorrenti. Nelle sperimentazioni condotte da AWS sono state rilevate riduzioni fino al 97% del tempo mediano necessario alla generazione del primo token e incrementi fino al 234% del throughput rispetto alla distribuzione casuale delle richieste.

La KV cache conserva le rappresentazioni intermedie prodotte durante l’elaborazione dei token in ingresso. Un sistema che riceve una nuova richiesta contenente una parte iniziale equivalente a quella precedentemente elaborata può riutilizzare le informazioni ancora presenti nella memoria, limitando il numero di operazioni da effettuare nella fase di prefill. La precedente strategia prefix-aware di SageMaker determinava la destinazione delle richieste mediante l’analisi di una porzione iniziale di lunghezza prestabilita, senza acquisire informazioni sulla successiva rimozione delle rappresentazioni dalla cache. La nuova architettura riceve dai container le notifiche relative all’inserimento e alla rimozione degli elementi memorizzati e mantiene un indice gestito che associa hash troncati e unidirezionali alle istanze o alle copie dei componenti di inferenza. L’indice non conserva il contenuto dei prompt, gli identificativi dei token o i tensori della KV cache.

Durante l’instradamento, il sistema confronta i token della richiesta con le informazioni disponibili nell’indice, considerando contemporaneamente l’estensione della corrispondenza e il carico delle risorse computazionali. Quando non sono disponibili corrispondenze utili, le risorse risultano sovraccariche oppure la verifica richiede troppo tempo, il sistema inoltra la richiesta secondo il criterio del minor numero di operazioni ancora in attesa. Le informazioni relative alle istanze rimosse durante il ridimensionamento vengono eliminate dall’indice, mentre quelle aggiunte o sostituite devono progressivamente ricostituire il contenuto della propria cache in funzione delle richieste ricevute.

AWS ha utilizzato Llama 3.1 70B Instruct su sette istanze ml.p5.48xlarge per condurre sperimentazioni di 30 minuti, simulando 20 o 100 utenti impegnati in conversazioni articolate e interrogazioni documentali, con prompt di circa 64.000 token nei casi più estesi. Le percentuali di cache hit sono aumentate dal 3-48% all’80-93%. L’effettivo miglioramento dipende dalle caratteristiche delle richieste e dalla possibilità di riutilizzarne le porzioni iniziali. Un’ulteriore sperimentazione basata su Qwen3-4B-Instruct-2507 ha rilevato un aumento medio dell’indicatore OverheadLatency di Amazon CloudWatch compreso tra 14 e 19 millisecondi, associato alle elaborazioni effettuate esternamente ai container, contestualmente alla riduzione della latenza del modello.

L’attivazione richiede container AWS per SageMaker AI con vLLM 0.33.0 o superiore oppure la build Amazon Linux server-sagemaker-cuda-v2.8.0 o successiva, con prefix caching e notifiche della KV cache abilitate. Gli amministratori configurano la variabile SM_VLLM_KV_EVENTS_CONFIG e assegnano il valore KV_AWARE alla proprietà RoutingStrategy. Sono necessari almeno due nodi di destinazione o due copie del componente di inferenza. Il supporto comprende gli endpoint GPU in tempo reale, anche con adattatori LoRA dinamici, e le richieste nei formati compatibili con OpenAI Completions e Chat Completions. L’API InvokeEndpointWithBidirectionalStream non è supportata. Il monitoraggio può avvalersi delle metriche dei container e delle informazioni sui token recuperati dalla cache. La funzionalità è disponibile nelle regioni commerciali AWS compatibili, senza costi aggiuntivi rispetto a quelli delle istanze utilizzate.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy