Baseten ha annunciato Grid, una piattaforma destinata alle organizzazioni che utilizzano agenti di intelligenza artificiale per lo sviluppo software e necessitano di controllare centralmente la selezione dei modelli, i costi di utilizzo e le politiche di sicurezza. La soluzione combina Baseten Router, Grid Gateway e un sistema condiviso di controlli sulle richieste e sulle risposte, permettendo di collegare strumenti di programmazione differenti a un’infrastruttura comune. Grid è stata presentata in versione public preview, con accesso iniziale gestito attraverso una lista d’attesa. Baseten dichiara che, nei propri benchmark preliminari, il sistema di instradamento ha ottenuto una riduzione prossima al 70% del costo per attività completata rispetto all’utilizzo del modello Opus 5.5, con una diminuzione della qualità misurata di 0,9 punti percentuali. Questi risultati sono riferiti alle prove effettuate dall’azienda e non costituiscono una garanzia di risparmio uniforme per tutti i carichi di lavoro. Il progetto è orientato a risolvere un problema specifico degli ambienti di sviluppo che impiegano più modelli: la necessità di selezionare per ciascuna attività una configurazione adeguata senza affidare ogni decisione al singolo programmatore.
Baseten Router analizza le richieste degli agenti di programmazione e seleziona il modello da utilizzare tra quelli esplicitamente autorizzati dall’organizzazione, comprendenti soluzioni proprietarie e modelli a pesi aperti. La valutazione non si basa soltanto sul prezzo dei token in ingresso e in uscita, ma considera il costo necessario per portare a termine l’intera attività. Questo parametro comprende le eventuali ripetizioni dell’elaborazione, le chiamate agli strumenti che non producono il risultato atteso e le risposte incomplete che richiedono ulteriori passaggi. Un modello caratterizzato da un prezzo inferiore per token può infatti risultare più costoso se necessita di molte iterazioni per completare un compito, mentre un modello più oneroso può risultare conveniente quando produce una soluzione corretta in un numero minore di tentativi. L’instradamento automatico permette di privilegiare il contenimento dei costi, la capacità del modello oppure un equilibrio tra le due esigenze. Le organizzazioni possono inoltre autorizzare la condivisione delle tracce di esecuzione, che Baseten potrà utilizzare per addestrare sistemi di routing personalizzati, ottimizzando il compromesso tra costo e qualità sui carichi di lavoro effettivi del cliente. La procedura è concepita per avvicinare il comportamento del sistema alla frontiera di Pareto, nella quale un miglioramento di un parametro comporterebbe un peggioramento di un altro.
Grid Gateway costituisce il livello amministrativo della piattaforma e consente ai responsabili delle infrastrutture di definire quali modelli possano essere utilizzati, assegnare autorizzazioni ai gruppi di sviluppo, stabilire budget e gestire le credenziali aziendali. Una dashboard dedicata mostra i consumi suddivisi per modello, la spesa complessiva, il volume di token elaborati, la percentuale di richieste servite dalla cache e i risparmi attribuiti alle strategie di instradamento. Al momento del lancio, la piattaforma supporta modelli resi disponibili da OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock e Baseten. Gli sviluppatori possono collegare Claude Code, Codex, OpenCode e Pi mediante un singolo comando di configurazione, mentre gli amministratori possono distribuire le impostazioni attraverso sistemi di mobile device management. Le applicazioni e gli agenti sviluppati internamente che utilizzano le API OpenAI o Anthropic possono essere collegati modificando l’indirizzo base dell’API e l’identificatore del modello, senza richiedere la sostituzione dell’applicazione o del framework agentico già adottato.
Il sistema consente inoltre di definire modelli predefiniti differenti in base al tipo di operazione. Un harness di programmazione può utilizzare un modello principale per le attività più impegnative e un modello più piccolo per operazioni di supporto, come la preparazione di riepiloghi. Le configurazioni vengono distribuite durante l’inizializzazione degli strumenti e possono essere successivamente modificate dagli sviluppatori, nel rispetto delle autorizzazioni aziendali. Baseten ha indicato l’utilizzo di Grid da parte di Opendoor, il cui responsabile dell’ingegneria Chintan Parikh ha descritto la possibilità di ottenere una visione consolidata delle spese interne per l’intelligenza artificiale e ridurre automaticamente i consumi con una perdita limitata di qualità. L’esigenza nasce dalla diffusione degli strumenti AI tra i dipendenti, che non necessariamente dispongono delle informazioni tecniche o economiche necessarie per individuare il modello più conveniente per ogni operazione.
Le politiche di sicurezza di Grid vengono applicate centralmente al gateway attraverso controlli configurabili sulle richieste inviate ai modelli e sulle relative risposte. Le regole possono cambiare in funzione del carico di lavoro e i registri conservano le informazioni relative alle violazioni individuate e alle decisioni assunte. Tra i rischi considerati figurano istruzioni nascoste all’interno di documenti utilizzati dagli agenti, tentativi di indirizzare il modello verso operazioni non autorizzate ed esposizione di informazioni dei clienti in contesti non previsti. Baseten distingue esplicitamente questi meccanismi dai controlli sull’esecuzione delle operazioni. L’analisi di prompt e risposte può individuare contenuti sospetti, ma non sostituisce le autorizzazioni che stabiliscono quali strumenti, file e risorse un agente possa effettivamente utilizzare. La piattaforma è quindi progettata per operare insieme ai sistemi che gestiscono l’identità e i privilegi degli agenti, senza considerare l’ispezione del traffico verso i modelli una protezione sufficiente per tutte le attività.
L’infrastruttura sottostante comprende funzioni di instradamento, conversione tra i protocolli utilizzati dai modelli e dagli ambienti agentici, memorizzazione nella cache, scaling e ottimizzazione dell’inferenza. Quando il modello selezionato viene eseguito direttamente su Baseten, le sessioni agentiche con più turni di interazione possono essere indirizzate verso risorse che conservano in memoria una KV cache già inizializzata, riducendo la necessità di rielaborare il contesto precedente. I gruppi interni dell’azienda lavorano inoltre su kernel personalizzati, speculative decoding, tecniche di post-training e procedure di valutazione applicate ai modelli prima della distribuzione. Tra le funzioni previste dopo la fase iniziale figurano la delega di attività prolungate ad agenti ospitati nel cloud, il coordinamento di più agenti impegnati su problemi complessi, il routing adattato ai dati specifici del cliente e l’integrazione di ulteriori controlli di sicurezza proprietari. Queste capacità appartengono ancora alla roadmap e non devono essere confuse con le funzionalità già comprese nella preview. Grid introduce quindi un’infrastruttura nella quale la scelta del modello viene trattata come una decisione operativa e finanziaria collegata al completamento delle attività, mentre amministrazione, credenziali e politiche di sicurezza vengono gestite attraverso un punto di accesso comune.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)