Immagine AI

Baseten ha annunciato Voice Agent Stack e Baseten Realtime Voice, due soluzioni infrastrutturali progettate per sviluppare, distribuire e gestire agenti vocali basati sull’intelligenza artificiale con tempi di risposta ridotti e capacità di elaborazione simultanea di numerose conversazioni. Entrambe le tecnologie sono disponibili inizialmente in anteprima privata mediante iscrizione a una lista di accesso. Voice Agent Stack costituisce l’ambiente di esecuzione e orchestrazione dei componenti vocali, mentre Realtime Voice rappresenta un’implementazione di riferimento che combina riconoscimento automatico del parlato, elaborazione linguistica e sintesi vocale. L’architettura utilizza Baseten Dedicated Inference per collocare i modelli e il sistema di orchestrazione nella stessa regione cloud, con comunicazioni effettuate attraverso la rete interna del cluster. Questa organizzazione riduce i trasferimenti tra servizi distribuiti geograficamente e i relativi tempi di attraversamento della rete, che secondo Baseten possono aggiungere diverse centinaia di millisecondi a ogni turno di conversazione quando il sistema di orchestrazione viene eseguito su un’infrastruttura remota. La piattaforma integra ottimizzazioni per l’inferenza, comunicazione tra modelli, autoscaling del traffico, meccanismi di failover tra ambienti cloud e strumenti per l’adattamento successivo dei modelli.

Baseten Realtime Voice utilizza una pipeline composta da modelli open-weight ottimizzati e coordinati mediante un orchestratore personalizzato basato su Pipecat. Il sistema distingue le operazioni di trascrizione, elaborazione della risposta e generazione audio, consentendo di selezionare indipendentemente i modelli utilizzati per ciascuna fase e di combinare componenti eseguiti sull’infrastruttura dedicata con API di fornitori esterni. È prevista anche un’architettura opzionale di delega tra un modello conversazionale rapido, denominato talker, e un modello di ragionamento più avanzato, denominato thinker. Il primo mantiene la continuità dell’interazione vocale con l’utente, mentre il secondo può svolgere in maniera asincrona attività di ragionamento, ricerca sul web, elaborazione di decisioni e utilizzo di strumenti esterni. Le operazioni server-side vengono eseguite direttamente dall’orchestratore, che può comunicare anche con server remoti attraverso il Model Context Protocol, evitando ulteriori passaggi attraverso il client. Sono supportati anche strumenti eseguiti sul dispositivo dell’utente. La configurazione permette di modificare durante una sessione il modello linguistico, la voce sintetica o il percorso di trascrizione senza dover distribuire nuovamente l’applicazione. Tra le funzionalità disponibili figurano il riconoscimento personalizzato del vocabolario tecnico, il fine-tuning supervisionato della sintesi vocale su dati vocali autorizzati, la personalizzazione del comportamento conversazionale e la clonazione della voce.

L’interfaccia di comunicazione riprende gli eventi fondamentali del protocollo OpenAI Realtime e supporta sia conversazioni audio in ingresso e in uscita sia interazioni che ricevono testo e generano audio. Sono disponibili il rafforzamento del riconoscimento di parole specifiche, la configurazione dei segnali vocali di conferma e la gestione dinamica dei componenti. La compatibilità presenta tuttavia alcune differenze implementative: i client devono utilizzare l’URL WebSocket completo e l’SDK Python di OpenAI non può connettersi direttamente all’endpoint Baseten perché aggiunge automaticamente il percorso /realtime, non gestito dal servizio. Nei browser è inoltre necessario utilizzare un backend intermedio per custodire la chiave API e inoltrare la connessione, poiché le connessioni WebSocket del browser non permettono di impostare liberamente l’header Authorization richiesto.

Nei test comunicati da Baseten, il tempo mediano necessario per generare il primo audio è passato da 0,94 secondi con una sola conversazione attiva a 1,14 secondi con 56 sessioni simultanee. Le prove hanno utilizzato contesti fino a 16.000 token e una configurazione composta da Qwen3-ASR su NVIDIA RTX-6000, Gemma-4-31B su NVIDIA B200, Qwen3-TTS su una seconda RTX-6000 e GLM-5.3 Fast tramite Baseten Model APIs per le attività delegate. I contesti più lunghi possono aumentare la latenza, mentre la summarization configurabile permette di limitarne la dimensione. Ogni componente della pipeline può essere scalato indipendentemente, aumentando le risorse soltanto nelle fasi che raggiungono la saturazione e controllando le latenze ai percentili p90 e p95. Baseten ha stimato un costo di 0,012 dollari per minuto audio con 32 sessioni simultanee, esclusi i costi dei token del modello di ragionamento delegato, e di 0,008 dollari per minuto di chiamata con 56 sessioni, includendo la delega alle Model API nelle condizioni di utilizzo dichiarate. Un benchmark indipendente di Coval ha inoltre registrato per Qwen3 ASR 1.7B ospitato da Baseten un tempo mediano di 33 millisecondi per la finalizzazione della trascrizione e un tasso di errore sulle parole del 2,1% su 456 campioni, misurando esclusivamente la fase successiva al termine del parlato. Le successive evoluzioni previste comprendono orchestrazioni più articolate, migrazione semplificata delle pipeline esistenti, comunicazione vocale full-duplex, modelli multimodali con componenti dedicati alla generazione audio e nuovi meccanismi di pianificazione delle elaborazioni.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy