Amazon usa la nonna morta di un bambino nella morbosa demo del deepfake audio di Alexa
Amazon sfrutta i problemi emotivi della pandemia, il dolore per spingere lo sviluppo della funzionalità di Alexa.
Amazon sta cercando di capire come fare in modo che il suo assistente vocale Alexa falsifichi la voce di chiunque, vivo o morto, con una breve registrazione. La società ha presentato la funzione in una demo durante la sua conferenza re:Mars a Las Vegas mercoledì, utilizzando il trauma emotivo della pandemia in corso e il dolore per vendere interessi.
Re:Mars di Amazon si concentra su intelligenza artificiale, apprendimento automatico , robotica e altre tecnologie emergenti, con esperti tecnici e leader del settore che salgono sul palco. Durante il keynote del secondo giorno, Rohit Prasad, vicepresidente senior e scienziato capo di Alexa AI presso Amazon, ha mostrato una funzionalità in fase di sviluppo per Alexa.
Dopo aver notato la grande quantità di vite perse durante la pandemia, Prasad ha riprodotto un video demo, in cui un bambino chiede ad Alexa: “La nonna può finire di leggermi Il Mago di Oz ?” Alexa risponde “Va bene” con la sua tipica voce robotica effeminata. Ma poi, la voce della nonna del bambino esce dall’altoparlante per leggere il racconto di L. Frank Baum.
Puoi guardare la demo qui sotto:
Amazon re:MARS 2022 – Giorno 2 – Keynote.
Prasad ha solo detto che Amazon sta “lavorando” sulla funzionalità di Alexa e non ha specificato quale lavoro rimane e quando/se sarà disponibile.
Tuttavia, ha fornito dettagli tecnici minuti.
“Questa ha richiesto un’invenzione in cui abbiamo dovuto imparare a produrre una voce di alta qualità con meno di un minuto di registrazione rispetto alle ore di registrazione in studio”, ha detto. “Il modo in cui l’abbiamo realizzato è inquadrare il problema come un’attività di conversione vocale e non come un’attività di generazione del parlato”.
Ingrandisci / Prasad ha discusso molto brevemente di come funziona la funzione.
Amazon/YouTube
Naturalmente, il deepfaking si è guadagnato una controversa reputazione. Tuttavia, c’è stato qualche sforzo per usare la tecnologia come strumento piuttosto che come mezzo per inquietudine.
I deepfake audio in particolare, come notato da The Verge , sono stati sfruttati dai media per compensare quando, ad esempio, un podcaster sbaglia una linea o quando la star di un progetto muore improvvisamente, come è successo con il documentario di Anthony Bourdain Roadrunner .
Annuncio
Ci sono persino casi di persone che usano l’IA per creare chatbot che funzionano per comunicare come se fossero una persona cara smarrita, ha osservato la pubblicazione.
Alexa non sarebbe nemmeno il primo prodotto di consumo a utilizzare l’audio deepfake per sostituire un membro della famiglia che non può essere presente di persona. Lo smart speaker Takara Tomy , come sottolineato da Gizmodo , utilizza l’IA per leggere le favole della buonanotte dei bambini con la voce di un genitore. Secondo quanto riferito, i genitori caricano le loro voci, per così dire, leggendo un copione per circa 15 minuti. Anche se questo è diverso da ciò che implica la demo video di Amazon, in quanto il proprietario del prodotto decide di fornire la propria voce, piuttosto che qualcuno affiliato con il proprietario (Amazon non ha capito come le autorizzazioni, in particolare per le persone decedute, potrebbero funzionare con il caratteristica).
Oltre alle preoccupazioni che i deepfake vengano utilizzati per truffe, truffe e altre attività nefaste , ci sono già alcune cose preoccupanti su come Amazon sta inquadrando la funzionalità, che non ha ancora una data di rilascio.
Prima di mostrare la demo, Prasad ha parlato di Alexa che offre agli utenti una “relazione di compagnia”.
“In questo ruolo di compagnia, gli attributi umani di empatia e affetto sono fondamentali per creare fiducia”, ha affermato il dirigente. “Questi attributi sono diventati ancora più importanti in questi tempi di pandemia in corso, quando così tanti di noi hanno perso qualcuno che amiamo. Sebbene l’IA non possa eliminare il dolore della perdita, può sicuramente far durare i loro ricordi”.
Prasad ha aggiunto che la funzione “consente relazioni personali durature”.
È vero che innumerevoli persone sono alla seria ricerca dell'”empatia e dell’affetto” umani in risposta al disagio emotivo iniziato dalla pandemia di COVID-19. Tuttavia, l’assistente vocale AI di Amazon non è il posto giusto per soddisfare quei bisogni umani. Inoltre, Alexa non può abilitare “relazioni personali durature” con persone che non sono più con noi.
Non è difficile credere che ci siano buone intenzioni dietro questa funzione in via di sviluppo e che sentire la voce di qualcuno che ti manca possa essere di grande conforto. Potremmo anche vederci divertirci con una funzione come questa, in teoria. Convincere Alexa a far sembrare un amico come se avesse detto qualcosa di stupido è innocuo. E come abbiamo discusso in precedenza, ci sono altre società che sfruttano la tecnologia deepfake in modi simili a quelli dimostrati da Amazon.
Ma inquadrare una capacità di Alexa in via di sviluppo come un modo per rilanciare una connessione con i membri della famiglia in ritardo è un salto gigantesco, irrealistico e problematico. Nel frattempo, tirare le corde del cuore portando dolore e solitudine legati alla pandemia sembra gratuito. Ci sono alcuni posti a cui Amazon non appartiene e la consulenza sul lutto è uno di questi.
