Block ha presentato Dessa, un modello di intelligenza artificiale conversazionale speech-to-speech sviluppato dal proprio laboratorio interno di ricerca e addestrato da zero utilizzando esclusivamente registrazioni di conversazioni umane, senza ricorrere a trascrizioni testuali, modelli linguistici preaddestrati o rappresentazioni intermedie del linguaggio scritto. Il sistema è progettato per ricevere direttamente segnali audio e produrre risposte vocali attraverso un’architettura full-duplex, capace di ascoltare e parlare contemporaneamente anziché alternare rigidamente una fase di acquisizione della domanda e una fase di generazione della risposta. Questa configurazione permette al modello di intervenire durante il discorso dell’interlocutore, produrre brevi segnali vocali di conferma, adattarsi alle interruzioni e gestire spontaneamente il ritmo degli scambi conversazionali. Secondo Block, Dessa è in grado di riconoscere e riprodurre elementi paralinguistici quali sarcasmo, risate, sospiri di frustrazione, variazioni di intensità della voce ed espressioni di tristezza, mantenendo le informazioni emotive e prosodiche contenute nel segnale originale. L’inferenza viene eseguita a una velocità superiore a quella del parlato in tempo reale, consentendo risposte senza lunghe pause artificiali, mentre l’esecuzione locale è supportata anche su un MacBook Pro con processore M4 Max o configurazioni superiori. Ragavan Thurairatnam, responsabile del laboratorio, ha inoltre indicato che il modello può funzionare su GPU di fascia consumer, presentando Dessa come un sistema sperimentale capace di sostenere una conversazione realistica dopo avere appreso il linguaggio direttamente dall’esperienza acustica.
L’approccio all’addestramento nasce dalla scelta di trattare il linguaggio parlato come una sorgente informativa completa, senza ridurlo preventivamente alla sequenza di parole che potrebbe essere ottenuta mediante riconoscimento automatico del parlato. A differenza di un testo digitale, nel quale una parola conserva la stessa rappresentazione indipendentemente dalla persona che la scrive, ogni realizzazione vocale presenta differenze nelle caratteristiche temporali, nell’intonazione, nell’accentuazione, nel timbro e nell’intensità. Anche la ripetizione della stessa frase da parte del medesimo individuo produce segnali acustici differenti, mentre lo spostamento dell’accento su una singola parola può modificare sensibilmente il significato comunicativo dell’intera espressione. Block osserva inoltre che la rappresentazione digitale di una parola pronunciata richiede migliaia di volte più byte rispetto alla corrispondente rappresentazione scritta, aumentando notevolmente la complessità computazionale dell’apprendimento. Nonostante queste difficoltà, il laboratorio dichiara di avere ottenuto capacità conversazionali utilizzando centinaia di volte meno parole rispetto ai quantitativi impiegati nell’addestramento dei grandi modelli linguistici e di avere realizzato il processo su un unico sistema NVIDIA GB200 NVL72. L’esperimento introduce anche interrogativi ancora aperti riguardo all’efficienza con cui un modello puramente acustico può acquisire conoscenze linguistiche e fattuali, apprendere nuove lingue e utilizzare informazioni presentate durante la conversazione attraverso forme di apprendimento contestuale.
Le dimostrazioni pubblicate da Block comprendono registrazioni di interazioni dal vivo nelle quali Dessa decide autonomamente quando intervenire, cosa dire e come modulare la propria voce, senza che un operatore esterno ne controlli direttamente le risposte. In una conversazione il modello ride mentre sta ancora pronunciando una frase, in un’altra aumenta il volume quando l’interlocutore chiede di parlare più forte, mentre in un ulteriore esempio completa una frase aiutando una persona a ricordare il titolo di un film. Sono state mostrate anche reazioni vocali a un annuncio inatteso relativo a un anniversario, con un’esclamazione di sorpresa seguita da una risposta emotivamente modulata, e una conversazione prolungata dedicata a consigli personali. Una dimostrazione mette inoltre Dessa in dialogo con GPT-Live-1, mostrando uno scambio tra due sistemi vocali artificiali indipendenti. Block precisa che le registrazioni non sono guidate durante l’esecuzione e che gli eventuali sottotitoli sono stati aggiunti successivamente, distinguendo quindi il comportamento generativo effettivo dagli interventi effettuati nella presentazione dei materiali.
Lo sviluppo di Dessa è stato motivato da tre obiettivi dichiarati dal laboratorio: approfondire la possibilità di apprendere il linguaggio attraverso la sola esperienza sonora, migliorare la comprensione reciproca tra esseri umani e sistemi artificiali e affrontare le implicazioni di sicurezza derivanti dall’incapacità di molti assistenti vocali di interpretare il contenuto emotivo della comunicazione. Block evidenzia, per esempio, che una persona può manifestare dolore o forte disagio attraverso caratteristiche vocali che una normale trascrizione testuale non conserva, con il rischio che un sistema continui a rispondere senza riconoscere correttamente la situazione. Per esaminare comportamenti problematici non previsti, l’azienda ha avviato un programma di accesso anticipato riservato a un numero limitato di ricercatori specializzati nella sicurezza dell’intelligenza artificiale, con richieste associate a indirizzi istituzionali e la possibilità di indicare pubblicazioni o attività di ricerca. È stata inoltre aperta una lista d’attesa pubblica, mentre ulteriori dimostrazioni e collegamenti per l’accesso al sistema saranno distribuiti progressivamente. Dessa è stato realizzato da un piccolo laboratorio interno costituito anche da ex componenti della startup canadese Dessa, precedentemente fondata da Thurairatnam, con esperienza nello sviluppo di modelli di deep learning dal 2012 e di sistemi generativi vocali da oltre otto anni. Il gruppo, che risponde direttamente a Jack Dorsey, comprende i ricercatori Louay Hazami, Hashiam Kadhim, Qi Liu, Rayhane Mama, Aydin Polat e Marc Tyndel, con il contributo di ricercatori e tirocinanti impegnati nelle attività sperimentali.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)