Perplexity ha pubblicato una guida tecnica dedicata agli LLM gateway, componenti infrastrutturali che permettono alle applicazioni di accedere a modelli linguistici di fornitori differenti attraverso un punto di ingresso centralizzato. Un LLM gateway opera come reverse proxy per le richieste dirette ai modelli, occupandosi di autenticazione, instradamento, gestione delle quote, conversione dei formati, registrazione dei consumi ed eventuale applicazione di controlli di sicurezza. L’applicazione invia la richiesta al gateway anziché comunicare direttamente con i servizi di OpenAI, Anthropic, Google o altri fornitori, mentre il livello intermedio seleziona il modello appropriato e applica le regole stabilite dall’organizzazione. L’architettura si distingue da quella di un API gateway tradizionale, che gestisce principalmente l’accesso ai servizi applicativi, e da quella di un MCP gateway, che controlla le autorizzazioni degli agenti nell’utilizzo di strumenti e relative operazioni. Alcuni prodotti commerciali combinano più di queste funzioni sotto la denominazione generale di AI gateway.
Il ciclo operativo di una richiesta comprende diverse fasi. Inizialmente, l’applicazione trasmette il contenuto al gateway attraverso un endpoint che può utilizzare un formato compatibile con le API OpenAI. Il gateway verifica le credenziali del chiamante, spesso rappresentate da chiavi virtuali assegnate a specifici team o applicazioni, e applica eventuali controlli preventivi per individuare informazioni sensibili o tentativi di manipolazione delle istruzioni del modello. Se è attiva una cache, il sistema verifica la presenza di risposte precedentemente memorizzate che possono soddisfare la richiesta. Alcune implementazioni utilizzano semantic caching, riconoscendo richieste semanticamente simili anche quando il testo non coincide esattamente. Il gateway seleziona quindi il percorso configurato, può utilizzare un fornitore alternativo in caso di timeout, converte la richiesta nel formato del modello scelto e gestisce l’autenticazione verso il servizio remoto. La risposta viene successivamente trasformata nel formato previsto dall’applicazione e accompagnata, quando abilitata, dalla registrazione di modello utilizzato, token consumati, latenza, costo e identità del chiamante.
La centralizzazione introduce però un punto particolarmente sensibile dal punto di vista della sicurezza. Un gateway può contenere chiavi API dei fornitori, credenziali amministrative, informazioni sulle autorizzazioni dei tenant, stringhe di connessione ai database e configurazioni di instradamento. La compromissione del componente può quindi consentire l’accesso a risorse appartenenti a più sistemi e organizzazioni. Nell’agosto 2026 Microsoft ha descritto un incidente riguardante un’installazione LiteLLM nella quale gli attaccanti avevano recuperato credenziali dall’ambiente di esecuzione del gateway. Il 13 ottobre 2026 Check Point Research ha inoltre divulgato due vulnerabilità ad alto rischio in LiteLLM: CVE-2026-35029, relativa a un difetto nei controlli di accesso che poteva consentire anche a utenti con privilegi limitati di raggiungere funzioni amministrative, e CVE-2026-59823, una vulnerabilità server-side request forgery che permetteva di indirizzare richieste verso server controllati da un attaccante e intercettare chiavi API. Entrambi i problemi risultano corretti nella versione LiteLLM 1.83.9.
Il gateway rappresenta anche una dipendenza critica per la continuità operativa. Un malfunzionamento del livello intermedio può impedire l’accesso a modelli che, singolarmente, continuano a funzionare. Nel giugno 2025 un’interruzione dell’infrastruttura Cloudflare ha prodotto un picco di errori del 97% sulle richieste AI Gateway, a causa della dipendenza da Workers KV per le configurazioni; l’incidente complessivo è durato due ore e 28 minuti. OpenRouter ha registrato invece due interruzioni nel febbraio 2026, rispettivamente di 38 e 35 minuti, associate al malfunzionamento di una dipendenza esterna utilizzata per la cache. Gli errori venivano presentati come risposte HTTP 401 anziché come indisponibilità temporanee dell’infrastruttura, portando il fornitore a introdurre ulteriori circuit breaker e una gestione più appropriata dei codici HTTP 503.
Tra le architetture disponibili figurano gateway sviluppati internamente, soluzioni open source installate e gestite dall’organizzazione, piattaforme cloud gestite ed estensioni dei sistemi API gateway già in produzione. Tra i prodotti citati compaiono LiteLLM, Bifrost, Helicone, Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter, Portkey, Kong AI Gateway, Google Apigee e Azure API Management. I costi variano da implementazioni open source utilizzabili senza canoni software a offerte commerciali che partono indicativamente da 50 dollari mensili, con tariffe enterprise personalizzate e modelli basati su commissioni. Perplexity descrive inoltre il supporto dell’Agent API alle interfacce OpenAI Responses API e alla definizione di fino a cinque modelli in ordine di preferenza, anche appartenenti a fornitori differenti. Il sistema open source Numbat permette invece di esaminare le azioni pianificate dagli agenti attraverso hook locali, comprese operazioni sulla shell e modifiche ai file, con la possibilità di abilitarne il blocco preventivo.
La configurazione di un gateway richiede quindi una gestione coordinata delle autorizzazioni, delle credenziali e dei controlli applicativi, oltre alla definizione del comportamento del sistema in caso di guasti. I controlli sui prompt e sulle chiamate agli strumenti devono stabilire esplicitamente se interrompere le operazioni quando un servizio di verifica non risponde, mentre i meccanismi di instradamento alternativo e i circuit breaker devono distinguere gli errori del fornitore da quelli introdotti dal gateway stesso. La piattaforma intermedia può semplificare l’utilizzo di più modelli, ma concentra anche responsabilità operative e superfici di attacco che devono essere considerate nella progettazione dell’infrastruttura.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).