OrcaRouter ha reso disponibile un piano gratuito basato sul modello Bring Your Own Key, che consente agli sviluppatori di collegare direttamente le proprie chiavi API di OpenAI, Anthropic, Google e altri fornitori. La piattaforma agisce come gateway unificato tra l’applicazione e i diversi servizi di inferenza, mantenendo un solo endpoint compatibile con le API OpenAI e lasciando che i costi dei token vengano addebitati direttamente dai provider scelti, senza maggiorazioni applicate dal router.
L’integrazione non richiede la riscrittura dell’applicazione: è sufficiente modificare l’indirizzo base utilizzato dal client e inserire la chiave rilasciata da OrcaRouter. Le chiamate per chat completion, Responses API, embedding, generazione di immagini, audio e streaming possono quindi continuare a utilizzare SDK e framework già compatibili con OpenAI, mentre il gateway gestisce internamente la selezione del modello, il bilanciamento del traffico e gli eventuali passaggi tra fornitori.
Utilizzando il modello virtuale orcarouter/auto, ogni prompt viene analizzato prima dell’esecuzione e associato al modello ritenuto più adatto. Il sistema considera la complessità della richiesta, le capacità necessarie, il costo e la disponibilità dei provider, distinguendo per esempio tra operazioni testuali ordinarie, uso di strumenti, output JSON e input visivi. Gli sviluppatori possono scegliere una strategia orientata al costo minimo, alla qualità, alla velocità oppure a un bilanciamento tra questi fattori, senza costruire manualmente regole condizionali per ogni modello.
Il motore di routing combina rappresentazioni semantiche dei prompt con un sistema di apprendimento ibrido offline e online. Nella fase iniziale valuta le prestazioni dei modelli su un insieme di richieste di riferimento, mentre durante l’utilizzo può aggiornare progressivamente le proprie scelte sulla base dei risultati osservati. Nei dati pubblicati su RouterArena, OrcaRouter ha raggiunto un’accuratezza di instradamento del 75,5%, con un tempo di classificazione del prompt inferiore a un millisecondo.
Il gateway integra anche meccanismi di failover automatico. Quando un provider restituisce errori, supera i limiti di traffico o non è disponibile, la richiesta può essere inoltrata a un modello equivalente prima che la risposta venga avviata. La piattaforma dichiara l’accesso a oltre 200 modelli nella versione ospitata, mentre OrcaRouter Lite, distribuito con licenza MIT e installabile tramite Docker, permette di creare un gateway self-hosted utilizzando esclusivamente le proprie credenziali. La versione locale include streaming, catalogo dei modelli, caching dei prompt, strategie di routing configurabili e statistiche su spesa, latenza e risparmio, senza richiedere PostgreSQL o Redis per la configurazione di base.
Nel piano gratuito ospitato sono comprese tre chiavi API, il routing tra i modelli, il failover, una dashboard essenziale e la gestione delle versioni dei prompt. Le funzioni rivolte alle organizzazioni, come accessi multiutente, controlli di conformità, distribuzioni private e livelli di servizio garantiti, restano invece associate ai piani Team ed Enterprise. OrcaRouter separa così il costo dell’inferenza da quello degli strumenti di gestione: gli sviluppatori possono usare gratuitamente il gateway con le chiavi già possedute, mentre le aziende pagano soltanto per le funzionalità avanzate di osservabilità, sicurezza e governance.