ElevenLabs ha reso disponibile Dubbing v2 attraverso ElevenAPI, permettendo alle aziende di integrare direttamente il modello di doppiaggio AI nei propri prodotti e nei flussi di lavoro esistenti. Dubbing v2 era stato lanciato a giugno, mentre la disponibilità tramite API estende ora il servizio agli utilizzi aziendali che richiedono automazione, elaborazione su larga scala e integrazione con sistemi già operativi.
Il modello utilizza un’architettura speech-to-speech che differisce dai sistemi di doppiaggio basati su una sequenza separata di riconoscimento vocale, traduzione e successiva sintesi attraverso una voce clonata. Dubbing v2 converte invece direttamente il parlato originale nel parlato della lingua di destinazione. Secondo ElevenLabs, questo approccio permette di mantenere in modo più naturale elementi della performance originale come espressività ed emozioni, evitando che vengano progressivamente attenuati durante il passaggio attraverso più fasi indipendenti di elaborazione.
Dubbing v2 supporta 92 lingue, comprese coreano e giapponese, ed è progettato per mantenere un’elevata sincronizzazione tra audio doppiato e contenuto originale insieme alla qualità della traduzione multilingue. La disponibilità tramite API non comprende però il doppiaggio multilingue in tempo reale per contenuti come le dirette streaming. Il servizio è quindi rivolto in questa fase soprattutto all’elaborazione di contenuti registrati, che possono essere processati e localizzati prima della distribuzione.
Tra gli utilizzi previsti rientra la localizzazione di dialoghi dei personaggi e cutscene per studi cinematografici e di videogiochi, dove la stessa produzione può essere adattata automaticamente a mercati linguistici differenti. L’API può essere impiegata anche da aziende di beni di consumo e operatori del settore turistico e alberghiero per generare versioni multilingue dei propri video di marketing, senza dover gestire separatamente per ogni lingua l’intero processo di traduzione, registrazione e sincronizzazione delle voci.
Un ulteriore ambito riguarda piattaforme di streaming e società media che devono distribuire film, serie televisive e altri contenuti di lunga durata in più regioni. L’integrazione tramite API consente in questo caso di inserire il doppiaggio all’interno delle pipeline di localizzazione e distribuzione, automatizzando il trattamento di grandi quantità di contenuti e mantenendo una maggiore coerenza tra le diverse versioni linguistiche. ElevenLabs propone Dubbing v2 proprio per produzioni che richiedono una qualità vicina a quella cinematografica e televisiva, ma con costi e tempi inferiori rispetto ai processi tradizionali di doppiaggio.
La disponibilità attraverso ElevenAPI trasforma quindi Dubbing v2 da servizio utilizzabile direttamente in un componente integrabile nelle infrastrutture aziendali. Il punto centrale rimane la conversione speech-to-speech in 92 lingue, pensata per conservare maggiormente la performance vocale originale e permettere alle aziende di automatizzare la localizzazione di video, giochi e contenuti audiovisivi di lunga durata senza costruire separatamente l’intera catena di riconoscimento, traduzione e sintesi.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)