Kong ha reso generalmente disponibile AI Gateway 2.2, aggiornamento della propria piattaforma per la gestione del traffico AI che introduce nuove funzioni dedicate alla governance degli strumenti MCP, alle policy basate sull’identità, al controllo dei costi per differenti modalità di input e output e al supporto di un numero maggiore di modelli, provider e interfacce. La versione è disponibile direttamente in Kong Konnect senza necessità di abilitazioni beta e punta a rendere più uniforme la gestione di ambienti AI sempre più eterogenei, nei quali convivono API proprietarie, modelli self-hosted, servizi specializzati e architetture differenti. Una delle novità principali è MCP Server Bundling, che consente di aggregare più server Model Context Protocol dietro un’unica route Kong e di mostrare a ciascun chiamante soltanto gli strumenti che è autorizzato a vedere ed eseguire. Le policy AI possono inoltre essere associate all’identità autenticata tramite Kong Identity, permettendo di applicare rate limiting, controllo degli accessi, analytics e attribuzione dei costi direttamente a una persona, un servizio o un agente invece che a un Consumer definito localmente sul gateway. AI Gateway 2.2 aggiunge anche autenticazione AWS IAM nativa per Amazon Bedrock AgentCore, con gestione dichiarativa delle firme SigV4, mentre il plugin AI Rate Limiting Advanced può ora utilizzare le credenziali come ulteriore criterio di corrispondenza per applicare limiti differenti anche quando più credenziali accedono agli stessi modelli o servizi AI.
L’aggiornamento amplia inoltre il numero di tecnologie supportate introducendo TypeSafe JEV sia come provider sia come formato. JEV produce decisioni tipizzate e probabilistiche direttamente utilizzabili dal software e può essere impiegato anche per determinare quale modello debba gestire una determinata richiesta, lasciando poi a Kong AI Gateway l’esecuzione effettiva del routing. Arriva anche il supporto alle Skills API, con un livello di traduzione tra una rappresentazione comune e i formati specifici dei diversi provider, in modo da poter utilizzare Skill riusabili e versionate senza legare l’applicazione a una singola implementazione. Il gateway supporta ora nativamente anche Kimi, Microsoft Foundry e Amazon SageMaker e introduce una modalità passthrough pensata per i carichi di lavoro che utilizzano interfacce personalizzate o non standard. In questo caso Kong inoltra richieste e risposte senza trasformarne il contenuto, continuando però ad applicare autenticazione verso il provider, autenticazione Kong, rate limiting e logging. La funzione è quindi utilizzabile anche con server di modelli self-hosted come vLLM, Ollama e NVIDIA NIM, con API ancora in preview e soggette a modifiche frequenti oppure con endpoint AI specializzati che non adottano le normali interfacce LLM.
Un altro intervento riguarda il controllo dei costi, che diventa sensibile alla modalità utilizzata. AI Gateway 2.2 può distinguere separatamente testo, audio, immagini e video e differenziare anche le operazioni di lettura e scrittura della cache, permettendo di attribuire la spesa in maniera più precisa rispetto a una stima basata esclusivamente sul numero complessivo di token. Kong ha inoltre introdotto in Tech Preview un’integrazione con Headroom, utilizzata per comprimere i prompt e ridurre il consumo di token attraverso tecniche di output shaping e regolazione adattiva della verbosità. L’integrazione registra metriche come token risparmiati, rapporto di compressione e trasformazioni applicate e prevede un meccanismo di fallback: se Headroom non risponde o supera il timeout, Kong può inoltrare il contenuto originale senza interrompere la richiesta verso il modello. La nuova versione consente infine di utilizzare plugin personalizzati direttamente nel control plane di AI Gateway, distribuendoli in streaming verso i data plane oppure installandoli localmente su questi ultimi. Le aziende possono quindi aggiungere logiche specifiche, controlli proprietari e policy adattate alla propria architettura senza rinunciare alle funzioni centralizzate di gestione del gateway.
Con AI Gateway 2.2 Kong concentra quindi nello stesso livello infrastrutturale il controllo degli strumenti accessibili agli agenti, l’identificazione di chi effettua ogni chiamata, il routing tra modelli differenti, la gestione delle credenziali, il calcolo dei costi e l’applicazione delle policy operative. L’obiettivo è permettere agli sviluppatori di cambiare modello, provider o tipo di interfaccia senza dover ricostruire ogni volta l’infrastruttura di sicurezza e governance che circonda l’applicazione AI, mantenendo invece un punto comune per autenticazione, osservabilità, rate limiting, controllo degli accessi ed estensioni personalizzate.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)