La startup ElevenLab, specializzata in intelligenza artificiale e sintesi vocale, ha annunciato il lancio del suo rivoluzionario strumento di doppiaggio AI. Questo strumento è progettato per tradurre il parlato in diverse lingue, mantenendo la voce distintiva di ogni speaker originale. La nuova funzionalità si basa sul potente modello di intelligenza artificiale Eleven Multilingual V2 sviluppato da ElevenLab, il quale è in grado di replicare le voci degli speaker in molteplici lingue per applicazioni come lo streaming video, i videogiochi e altri contenuti multimediali.
La proposta di ElevenLab in materia di doppiaggio AI va ben oltre i sistemi tradizionali di traduzione o sottotitolaggio, poiché preserva l’identità vocale e lo stile unico di ogni oratore originale. In altre parole, un attore potrà mantenere l’emozione, la cadenza e altri elementi non verbali anche quando il suo dialogo è tradotto in oltre 20 lingue diverse, offrendo un grado di autenticità senza precedenti rispetto alla semplice sostituzione dell’audio originale con voci diverse. L’intelligenza artificiale è in grado di riconoscere gli speaker e rimuovere il rumore di fondo prima di clonare la loro voce e registrare il dialogo in qualsiasi lingua desiderata dall’utente.
“Con il lancio di AI Dubbing, compiamo un passo significativo nell’eliminazione delle barriere linguistiche nei contenuti multimediali. Questo strumento consentirà al pubblico di godersi qualsiasi contenuto, indipendentemente dalla lingua in cui è stato creato”, ha spiegato Mati Staniszewski, CEO e co-fondatore di ElevenLab. “Inoltre, i creatori di contenuti avranno la possibilità di raggiungere un pubblico globale in modo semplice e autentico. Avendo sperimentato personalmente queste barriere linguistiche, io e il mio co-fondatore Piotr siamo entusiasti di rendere il doppiaggio AI una realtà.”
Poiché solo il 6% della popolazione mondiale è di madrelingua inglese, ElevenLab spera che i creatori di contenuti sfruttino questa innovazione per ampliare notevolmente la loro portata globale. Di seguito, puoi vedere un esempio pratico di come funziona il doppiaggio AI con le tracce audio su YouTube fornite da ElevenLab.
ElevenLab ha rilasciato Eleven Multilingual V2 all’inizio di quest’anno dopo un periodo di beta testing. Questo modello di intelligenza artificiale è fondamentale per i successivi sviluppi della startup, che si basano su modelli vocali di intelligenza artificiale generativa creati da zero o clonati da voci esistenti. L’annuncio è arrivato dopo un round di finanziamento da 19 milioni di dollari a giugno e il lancio di uno strumento per il riconoscimento delle voci dei modelli sintetici. ElevenLab ha già collaborato con aziende di rilievo nel settore, tra cui la startup di intelligenza artificiale generativa per video D-ID, l’editore di audiolibri Storytel e lo sviluppatore di giochi Paradox Interactive, consolidando così la sua presenza nel settore in crescita della traduzione e del doppiaggio con intelligenza artificiale. Altre startup come Veritone, Papercup e DeepDub stanno anch’esse cercando di conquistare una parte di questo mercato in espansione, mentre anche i giganti tecnologici come Meta, con il suo modello Voicebox per la clonazione vocale e il “traduttore universale” SeamlessM4T, potrebbero entrare in competizione per lo stesso pubblico servito da ElevenLab.