ElevenLabs ha annunciato durante il proprio Summit di New York un ampliamento delle tecnologie destinate alle imprese, comprendente la personalizzazione dei modelli linguistici e vocali, nuove funzioni per ElevenAgents, l’applicazione ElevenAI per il lavoro e un programma dedicato ai partner tecnologici. Il progetto prevede che le aziende possano collaborare direttamente con i ricercatori di ElevenLabs per adattare modelli linguistici open source selezionati e modelli vocali proprietari alle caratteristiche della propria attività, utilizzando dati raccolti nelle interazioni reali con clienti e utenti. L’avvio delle attività di personalizzazione è previsto nei prossimi mesi. Le organizzazioni potranno definire obiettivi misurabili, come affidabilità operativa e soddisfazione dei clienti, e utilizzare le conversazioni successive per perfezionare ulteriormente i modelli. ElevenLabs ha già applicato un approccio di specializzazione settoriale a Scribe v3 Medical, sviluppato per riconoscere terminologia sanitaria, mentre è in preparazione un modello ottimizzato per i servizi finanziari.
Tra le componenti presentate figura Interaction Engine, un sistema destinato alla gestione del flusso conversazionale e del coordinamento tra modelli differenti. Il motore controlla l’alternanza dei turni di parola, le interruzioni e l’assegnazione delle attività, consentendo di utilizzare modelli meno costosi per la classificazione iniziale delle richieste e modelli più avanzati per le operazioni complesse. La distribuzione dinamica delle attività permette di evitare che ogni fase della conversazione richieda l’impiego di un modello di frontiera, con l’obiettivo di contenere il consumo di token. ElevenAgents, la piattaforma aziendale per distribuire agenti vocali e testuali, sarà inoltre ampliata con Memory e Routines. Memory permetterà di riconoscere i clienti già autenticati e trasformare le informazioni emerse dalle conversazioni in registrazioni strutturate contenenti preferenze, vincoli e appuntamenti futuri, mantenendo il sistema CRM come archivio principale dei dati del cliente. Un utente che abbia già comunicato di preferire lo spagnolo e di essere disponibile soltanto dopo le 17, per esempio, potrà ritrovare queste impostazioni nelle interazioni successive.
Routines è progettato per automatizzare attività composte da più passaggi prima, durante e dopo le conversazioni, utilizzando gli strumenti e i sistemi aziendali collegati. Gli scenari illustrati comprendono la verifica preliminare dei requisiti di un richiedente mutuo e il successivo richiamo telefonico, l’invio di promemoria per appuntamenti sanitari con la possibilità di assegnare le disponibilità liberate ai pazienti in lista d’attesa, la preparazione e l’invio di rapporti, l’aggiornamento dei CRM e l’avvio di telefonate automatizzate. Le due funzioni, annunciate come sviluppi futuri di ElevenAgents, sono pensate per associare alla gestione della conversazione la conservazione del contesto e l’esecuzione dei processi operativi collegati.
Per il lavoro individuale e collaborativo, ElevenLabs ha presentato ElevenAI, un’applicazione capace di ascoltare conversazioni vocali, comprese riunioni in presenza, e produrre appunti, riepiloghi e attività da svolgere. La soluzione può fornire assistenza durante le conversazioni e trasferire informazioni contestuali tra persone e agenti software. La società specifica che la registrazione delle riunioni prevede il consenso dei partecipanti e meccanismi di informazione e autorizzazione. L’accesso anticipato gratuito è stato aperto contestualmente all’annuncio. Per la dettatura e l’elaborazione delle registrazioni ElevenAI utilizza Scribe v3, modello di trascrizione per audio registrato che supporta 102 lingue, distinto dalla variante Scribe v3 Live sviluppata per applicazioni in tempo reale a bassa latenza.
L’espansione commerciale comprende un Partner Program rivolto a società di consulenza, system integrator, produttori software e agenzie che intendono integrare ElevenAgents nelle infrastrutture aziendali. ElevenLabs dichiara una rete di oltre 550 partner in 44 Paesi, comprendente Google Cloud, IBM, Deloitte, DXC e Genesys. Gli operatori possono collaborare con gli ingegneri specializzati dell’azienda per realizzare implementazioni complesse. Una nuova collaborazione con McKinsey e QuantumBlack collega le tecnologie conversazionali di ElevenLabs ai progetti di trasformazione aziendale della società di consulenza. Il Marketplace associato al programma presenta inizialmente una selezione di applicazioni sviluppate dai partner per sanità, servizi finanziari, assicurazioni, istruzione e commercio al dettaglio. Le aziende possono consultare il catalogo e contattare gli sviluppatori, mentre la possibilità di acquistare attraverso gli impegni commerciali ElevenLabs già esistenti è prevista dal 2027.
Sul versante infrastrutturale, ElevenLabs ha annunciato con NVIDIA la disponibilità del modello Nemotron 3.5 Super VL all’interno di ElevenAgents e un piano per aggiungere 15 MW di capacità computazionale NVIDIA Vera Rubin, affiancandola ai sistemi Blackwell Ultra già utilizzati. L’ampliamento è destinato ai deployment di grandi dimensioni e alle applicazioni con requisiti specifici di sicurezza e localizzazione dei dati. La collaborazione comprende inoltre un agente vocale on-premises per Centralna e-Rejestracja, il sistema centralizzato di prenotazione sanitaria della piattaforma nazionale polacca e-Health, realizzato con il contributo di EasyCall. L’agente contatta telefonicamente i pazienti che dispongono soltanto di una linea fissa, ricordando gli appuntamenti e assistendoli nella riprogrammazione. Secondo ElevenLabs, il sistema centrale gestisce circa 40 milioni di appuntamenti all’anno, con percentuali di mancata presentazione comprese tra il 10% e il 20%. L’implementazione impiega NVIDIA Confidential Computing per mantenere dati dei cittadini e contenuti audio all’interno dell’infrastruttura governativa, proteggendoli anche durante l’elaborazione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)