Captions, la startup di video AI fondata da Gaurav Misra, ex capo dell’ingegneria del design presso Snap e ex ingegnere dello sviluppo software presso Microsoft, sta portando l’intelligenza artificiale a un pubblico più ampio. Dopo aver recentemente raccolto 25 milioni di dollari in un round di finanziamento dai principali investitori a inizio estate, l’azienda sta ora lanciando un’app dedicata al doppiaggio AI chiamata “Lipdub”.
Lipdub è in grado di tradurre e doppiare automaticamente qualsiasi video preregistrato con audio parlato in 28 lingue diverse, sincronizzando i movimenti delle labbra con le parole parlate utilizzando l’intelligenza artificiale. L’app è attualmente disponibile solo per iOS ed è gratuita da scaricare, senza richiedere un account Captions esistente. Gli utenti possono anche condividere i video modificati su piattaforme come YouTube, TikTok e Instagram Reels.
Lipdub si distingue dalla concorrenza grazie alla capacità di tradurre in dialetti e linguaggio specifico, inclusi slang come quello della generazione Z e lo slang texano. Questa caratteristica la rende unica in un campo sempre più affollato di servizi di doppiaggio e traduzione audio basati su intelligenza artificiale.
Amjad Misra, CEO di Captions, ha dichiarato: “Il successo di AI Dubbing ci ha ispirato a spingere questa tecnologia al livello successivo e a introdurre il movimento sincronizzato delle labbra nel mix. Da allora ci siamo concentrati nel rendere la tecnologia ampiamente disponibile, portandoci a creare e lanciare Lipdub come un’app separata.”
Attualmente, Captions conta più di 100.000 utenti giornalieri e oltre 5 milioni di creatori che utilizzano i suoi prodotti. L’azienda offre anche funzionalità AI come il ritaglio automatico delle parole “riempitive” come “uhs” e “umms”, oltre a miglioramenti del discorso che eliminano il rumore di fondo.
Tra i noti utenti di Captions ci sono ESPN, il commentatore Omar Raja, il fondatore di Twitch Justin Kan e l’influencer Unnecessary Inventions.
Questo annuncio giunge poco dopo che ElevenLabs, una concorrente fondata da ex dipendenti di Google e Palantir, ha introdotto una funzione di doppiaggio AI video preregistrato con supporto per 20 lingue parlate. Anche Meta Platforms ha recentemente lanciato SeamlessM4T, un modello multilingue open source che comprende quasi 100 lingue.
Mentre la concorrenza cresce, Captions si impegna a portare l’AI nel mondo dell’editing video e dell’audio, offrendo una gamma completa di strumenti per creatori di contenuti e sviluppatori.