Bito ha presentato Governor, una piattaforma di instradamento delle richieste ai modelli di intelligenza artificiale progettata per ridurre i costi operativi degli agenti utilizzati nello sviluppo software, intervenendo contemporaneamente sulla quantità di informazioni elaborate e sulla scelta del modello più adatto a ciascuna attività. La soluzione opera come livello intermedio fra gli agenti di programmazione e i modelli linguistici utilizzati, mantenendo la compatibilità con strumenti come Claude Code, Cursor e Codex attraverso un endpoint condiviso che non richiede la sostituzione degli ambienti di lavoro esistenti. Secondo Bito, Governor può ridurre la spesa associata all’utilizzo degli agenti fra il 40% e il 70%, mantenendo invariata la qualità dei risultati. Si tratta di una stima aziendale, non di una percentuale di risparmio garantita per ogni applicazione. Il problema affrontato riguarda soprattutto la crescita del contesto durante le sessioni di sviluppo: gli agenti effettuano ricerche nei repository, leggono file, verificano dipendenze, modificano codice ed eseguono test, accumulando informazioni che possono essere ritrasmesse ai modelli durante le successive chiamate. Bito riporta il caso di una sessione Claude Code nella quale le ricerche iniziali avevano restituito circa 65.000 token, ma la ripetuta elaborazione delle informazioni accumulate aveva portato il consumo complessivo a sei milioni di token. Il costo finale dipende pertanto non soltanto dal prezzo unitario dell’inferenza, ma anche dalla gestione del contesto, dal riutilizzo della cache e dalla quantità di elaborazioni ripetute.
Governor integra un Code Context Engine che mantiene un grafo aggiornato della struttura del software aziendale, comprendente simboli, dipendenze, topologia dei servizi e collegamenti fra repository. La rappresentazione incorpora inoltre informazioni provenienti da sistemi di tracciamento delle attività, documentazione progettuale, discussioni tecniche, schemi dei database, configurazioni di distribuzione e modelli architetturali. Quando un agente deve individuare il codice interessato da una modifica o ricostruire le relazioni fra componenti, Governor può affidare le operazioni preliminari di ricerca a un modello meno costoso e restituire al modello principale una sintesi contestualizzata delle informazioni pertinenti. Le risposte possono includere riferimenti ai file e alle relative righe, consentendo di verificare la corrispondenza fra le informazioni recuperate e il codice effettivamente presente. Questo meccanismo evita che ogni agente debba ripetere autonomamente l’esplorazione del progetto con modelli di fascia superiore e riduce la quantità di risultati non necessari conservati nella conversazione. Nel caso di una modifica a un servizio di autenticazione, ad esempio, il sistema può individuare l’interfaccia coinvolta, i componenti che la richiamano e le decisioni architetturali precedenti, fornendo una rappresentazione delle dipendenze necessarie a valutare l’impatto dell’intervento.
Il secondo componente della soluzione riguarda la selezione dinamica del modello e del livello di ragionamento richiesto. Governor valuta la natura dell’attività, le intenzioni dell’utente, le conseguenze di una risposta insufficiente e il contesto già disponibile nella cache, evitando di utilizzare esclusivamente la lunghezza del messaggio come indicatore della difficoltà del lavoro. Una richiesta molto breve può infatti autorizzare l’esecuzione di una modifica complessa precedentemente pianificata, mentre un’istruzione estesa può richiedere soltanto una trasformazione relativamente semplice. Bito specifica che la decisione di instradamento viene effettuata all’inizio di una nuova richiesta dello sviluppatore e mantenuta durante l’elaborazione dell’attività, considerando anche l’eventuale perdita dei vantaggi economici derivanti da una cache già disponibile presso un determinato modello. Il passaggio a un modello con tariffa inferiore non risulta necessariamente più conveniente quando comporta la necessità di rielaborare una grande quantità di contesto. L’infrastruttura supporta API compatibili con Anthropic e OpenAI, utilizza le chiavi dei provider già possedute dai team e può essere affiancata ai gateway AI aziendali. Sono previste tre modalità operative, Quality, Balanced e Cost, attraverso le quali le organizzazioni possono modificare il rapporto fra qualità attesa, capacità computazionale impiegata e contenimento della spesa.
Fra i risultati presentati figura una sperimentazione condotta dalla società di software per la privacy Privado su 40 attività di ingegneria, utilizzando Claude Code e confrontando esecuzioni con e senza Governor. Nel test riportato da Bito, il costo medio per attività è diminuito da 4,12 a 2,14 dollari, corrispondente a una riduzione del 48%, mentre il numero medio di passaggi richiesti dall’agente è sceso da 47 a 23. La durata delle attività si è ridotta del 38%, senza un peggioramento della qualità rilevato nella sperimentazione. I risultati sono riferiti allo specifico insieme di attività e non costituiscono una misura universale delle prestazioni del prodotto. Bito ha inoltre condotto uno studio separato su 29 modelli e 60 attività di sviluppo, producendo 1.740 risposte valutate mediante esecuzione del codice, individuazione di errori introdotti intenzionalmente e, per alcuni casi, valutazioni effettuate da modelli AI su criteri predisposti in anticipo. Per consentire alle aziende di verificare le decisioni prima di modificare il traffico effettivo, Governor include una modalità shadow che registra gli instradamenti suggeriti senza applicarli. Sono disponibili limiti massimi di costo, restrizioni sull’utilizzo di modelli più onerosi senza autorizzazione, ripristino del modello originariamente richiesto in caso di problemi e registrazione delle motivazioni associate alle decisioni. Bito prevede infine di estendere la tecnologia a categorie di agenti differenti da quelli dedicati alla programmazione, mantenendo come criterio di valutazione il costo necessario per completare correttamente un’attività, anziché il solo prezzo della singola chiamata al modello.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).