ByteDance ha presentato SeedRealtime, un modello linguistico multimodale full-duplex capace di elaborare simultaneamente voce, immagini e testo all’interno di un’unica architettura. Il sistema è stato progettato per superare il funzionamento sequenziale dei tradizionali assistenti vocali, nei quali l’utente deve terminare la propria richiesta prima che il modello possa iniziare a elaborarla e rispondere. SeedRealtime lavora invece su flussi continui e paralleli, osservando la scena, ascoltando ciò che accade e producendo risposte mentre l’interazione è ancora in corso. L’obiettivo è rendere il comportamento dell’AI più vicino a quello di un interlocutore umano, capace non soltanto di reagire a una domanda, ma anche di interpretare l’ambiente e intervenire autonomamente quando riconosce una situazione rilevante.
L’architettura differisce dai sistemi a cascata che collegano separatamente riconoscimento automatico del parlato, modello visivo-linguistico e sintesi vocale. In una pipeline tradizionale, l’audio viene prima convertito in testo, il testo viene elaborato insieme alle informazioni visive e il risultato viene infine trasformato nuovamente in voce; ogni passaggio introduce latenza e può perdere elementi del contesto originale, come tono, ritmo, gesti o coincidenza temporale tra una frase e ciò che appare nel video. SeedRealtime esegue invece riconoscimento, comprensione, ragionamento e generazione della risposta in un modello end-to-end, fondendo direttamente audio, video, testo e informazioni temporali. Questa struttura permette al sistema di collegare ciò che viene detto con ciò che sta accadendo nello stesso momento, evitando di trattare le diverse modalità come input indipendenti elaborati in successione.
Una delle capacità centrali è la percezione multimodale congiunta. Il modello può utilizzare il contenuto visivo per risolvere ambiguità linguistiche, distinguere parole dal suono simile e comprendere a quale oggetto si riferiscano espressioni come “questo” o “quello”. Per determinare il referente corretto non considera soltanto la trascrizione della frase, ma combina la scena ripresa dalla videocamera, i gesti, la direzione dello sguardo e il momento preciso nel quale l’espressione viene pronunciata. La comprensione nasce quindi dall’allineamento temporale tra voce e immagine: un movimento della mano o uno spostamento dello sguardo acquisiscono significato perché vengono analizzati insieme alle parole pronunciate nello stesso intervallo. Questo consente di gestire interazioni nelle quali gran parte dell’informazione non è contenuta esplicitamente nel testo, ma dipende dal contesto fisico visibile.
SeedRealtime introduce inoltre un comportamento proattivo basato sull’osservazione continua dell’ambiente. L’utente può chiedere al sistema di avvertirlo quando compare un determinato oggetto e il modello continua a controllare il flusso video fino a quando riconosce la condizione richiesta, intervenendo senza bisogno di una nuova domanda. ByteDance ha mostrato questa capacità durante la preparazione di un espresso: il modello ha rilevato che i chicchi erano stati inseriti direttamente nel portafiltro senza essere macinati, ha segnalato immediatamente l’errore e ha fornito le istruzioni per correggerlo. Successivamente ha analizzato il risultato dell’estrazione e ha suggerito di modificare il tempo della preparazione successiva. L’interazione non consiste quindi in una singola risposta, ma in un controllo continuo del processo, con indicazioni generate in corrispondenza dei cambiamenti osservati.
Il modello gestisce internamente anche la temporizzazione del dialogo. Invece di dipendere da un componente esterno di rilevamento dell’attività vocale per stabilire quando l’utente abbia finito di parlare, SeedRealtime decide autonomamente quando iniziare la risposta, quando interromperla e quando restare in ascolto. Questa capacità è particolarmente importante negli ambienti con rumori di fondo o con più persone presenti, nei quali un sistema basato soltanto sulla rilevazione della voce potrebbe reagire a conversazioni che non gli sono rivolte. Il modello combina le informazioni sonore e visive per separare il parlante principale dalle voci circostanti, associare i volti alle rispettive voci e intervenire soltanto quando il contesto indica che una risposta è opportuna. Può inoltre evitare di interrompere prematuramente l’utente e gestire sovrapposizioni, pause e riprese della conversazione in modo più naturale.
Nelle valutazioni condotte da ByteDance, il modello avrebbe ridotto di circa la metà i problemi di temporizzazione osservati nei sistemi multimodali costruiti con architetture a cascata. Sono diminuiti i casi nei quali l’AI interrompe l’interlocutore, risponde con eccessivo ritardo o reagisce erroneamente alle voci e ai rumori presenti nell’ambiente, mentre è aumentata la percentuale di conversazioni completate senza interruzioni innaturali. L’azienda non ha però pubblicato i valori completi dei benchmark, la dimensione del campione o i criteri quantitativi utilizzati nella valutazione, limitandosi a comunicare i risultati generali delle prove effettuate con valutatori umani.
Tra le dimostrazioni diffuse da ByteDance compare una conversazione svolta durante un pasto con più partecipanti, nella quale SeedRealtime ha collegato volti e voci per distinguere le dichiarazioni delle singole persone e ha poi combinato le diverse preferenze per proporre un programma di viaggio personalizzato. In un ristorante cinese il modello ha riconosciuto in tempo reale le pietanze mostrate dalla videocamera, ne ha fornito una spiegazione in inglese e ha aggiunto informazioni sul relativo contesto culturale. In aeroporto ha invece ricordato i dati di partenza mostrati in precedenza su uno schermo, li ha utilizzati per fornire aggiornamenti sul volo e ha effettuato una ricerca online per individuare il nastro di riconsegna dei bagagli. Questi esempi illustrano l’uso della memoria del contesto visivo e conversazionale durante una sessione continua, nel corso della quale informazioni osservate in un momento possono essere recuperate e utilizzate successivamente.
ByteDance ha dichiarato di aver già integrato SeedRealtime nei propri servizi e di aver distribuito su larga scala un sistema full-duplex basato congiuntamente su audio e video. Le prossime fasi di sviluppo riguarderanno la riduzione ulteriore della latenza, il miglioramento del riconoscimento negli ambienti con più interlocutori e l’aggiunta di strumenti esterni per compiere operazioni come ricerche e prenotazioni. L’evoluzione prevista consiste quindi nel trasformare il modello da interfaccia conversazionale capace di osservare e commentare ciò che accade a un agente multimodale in grado di utilizzare il contesto percepito in tempo reale per avviare e completare attività concrete.