Streaming DeepFake in tempo reale con DeepFaceLive
Il software deepfake più utilizzato al mondo, e quello più fortemente associato al porno deepfake, sta ottenendo una nuova implementazione: la capacità di sovrapporre deepfake di una celebrità alle riprese della webcam dal vivo.
Il repository open source DeepFaceLive è un’applicazione Windows 10 costruita sulle basi di DeepFaceLab , che è diventata rapidamente la principale risorsa per lo scambio di volti basato sul porno dopo che il creatore del software deepfake originale ha abbandonato il progetto poco dopo l’avvento del deepfaking ha creato polemiche in tutto il mondo nel 2018. Entrambi i progetti elencano la sezione forum del sito porno deepfake mrdeepfakes come risorsa di supporto ufficiale.
In un video dell’interfaccia DeepFaceLive rilasciato dallo sviluppatore Ivan Petrov ad aprile, vediamo il filmato scaricato dell’imitatore Miles Fisher che viene trasformato in Tom Cruise in tempo reale. Fonte: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently
Ieri il leader di entrambi i progetti, lo sviluppatore russo Ivan Petrov , ha annunciato una nuova versione di DeepFaceLive sul gruppo Discord del progetto, osservando che DeepFaceLive ora incorpora un modello addestrato dell’attrice Margot Robbie, un soggetto frequente di video pornografici su mrdeepfakes.
Sono stati caricati quattro video clip di esempio per dimostrare la capacità di DeepFaceLive di collegare l’identità di Robbie a qualsiasi oratore in un feed della webcam.
I video di trasformazione di Robbie sono stati originariamente condivisi su Twitch, ma successivamente eliminati.
Gli altri tre esempi di facewapping forniti da DeepFaceLive. Il requisito per una corrispondenza approssimativa del viso con il soggetto bersaglio è ancora in evidenza. Nell’immagine in basso a sinistra vediamo che il software non può mascherare efficacemente gli ostacoli, come può essere ottenuto in DeepFaceLab, poiché ciò richiede maschere di addestramento nell’applicazione XSeg di DeepFaceLab, un metodo che non può essere applicato alla falsificazione in tempo reale.
Un modello predefinito aggiuntivo, del comico e attore britannico Rowan Atkinson, dovrebbe essere presto disponibile per DeepFaceLive. Originariamente il repository DeepFaceLive presentava una categoria CELEB_MODEL, dove era possibile scaricare altre celebrità, incluso Tom Cruise, come file Open Neural Network Exchange ( .onnx ), sebbene queste directory siano state successivamente eliminate.
Tom Cruise era un’identità incorporata per una beta di DeepFaceLive nell’aprile del 2021, ma da allora è stata apparentemente rimossa come impostazione predefinita nel pacchetto. Tuttavia, il modello può essere scaricato e installato, insieme a modelli addestrati da molte altre celebrità e modelli personalizzati addestrati dagli utenti finali.
DeepFaceLive funziona esclusivamente come applicazione Windows 10 e un utente ha segnalato che funziona bene con l’ applicazione Broadcast in streaming live di NVIDIA .
Ottenere identità
Gli utenti non devono passare attraverso il laborioso processo di raccolta del materiale facciale per un set di dati, seguito dai 3-10 giorni necessari per ottenere una corrispondenza molto buona, poiché le FAQ per DeepFaceLive affermano che può utilizzare modelli di volti pubblici standard ‘ che sono già stati compilati da altri creatori. In effetti, la più grande fonte di tali modelli è il thread Forum-Trained Models (link all’archivio) sul sito porno mrdeepfakes, che può essere visto in uso da un utente finale russo in un recente video di YouTube .
Sebbene i migliori risultati si ottengano addestrando il volto dell’utente finale contro la celebrità bersaglio, la qualità della simulazione sembra essere direttamente proporzionale a quanto l’utente finale assomiglia al bersaglio. Quando l’utente è relativamente ben adattato alla celebrità, si può ottenere un risultato convincente.
Come è evidente negli ultimi tre scambi di Margot Robbie nelle immagini sopra, il software non può fare miracoli dove il volto dell’utente finale ha caratteristiche generali radicalmente diverse. Tuttavia, DeepFaceLab può anche eseguire interi scambi di teste , un processo che sovrascrive completamente l’intestazione di origine, sebbene con limitazioni per quanto riguarda le acconciature. I commenti sul server Discord confermano che questi possono essere implementati anche in DeepFaceLive.
DeepFaceLive attualmente supporta solo le GPU NVIDIA, con la GTX 750 l’hardware più basso che può ottenere un risultato ragionevole con l’applicazione. Su una scheda grafica con 4 GB di VRAM, richiede anche 32 GB di spazio su disco di swap.
Gli utenti segnalano che DeepFaceLive è estremamente esigente in termini di risorse hardware, ma Petrov ha risposto affermando che DeepFaceLive è destinato a PC ben progettati in un ambiente interno.
Il DeepFaceLab GitHub è stato biforcuta oltre 6.000 volte, mentre la nuova DeepFaceLive ha attualmente 85 forchette.
Usi possibili
I commentatori in un thread (in lingua russa) sul sito social russo VK.com speculano sui possibili usi di DeepFaceLive e sembrano aver individuato tutte le probabili applicazioni per il software: come “anonimizzazione” o filtro ricreativo in Zoom e applicazioni simili; come mezzo per commettere frode o ingannare la persona che guarda il live streaming; e – forse molto probabilmente, alla luce della provenienza del software e della base di utenti – come mezzo per implementare il lavoro sessuale basato sulla webcam incentrato sulle celebrità.
La possibilità di “cam girls deepfake” è emersa nei media un paio di anni fa. Nel 2020 l’Avatarify applicazione annunciato deepfake funzionalità webcam celebrità, ma ad una qualità sensibilmente abbassare rispetto al set standard da DeepFaceLab, che ora è il repository di scelta per la recente headline-grabbing Tom Cruise deepfaker Chris Ume, così come film di alto livello e società di produzione televisiva di tutto il mondo.
DeepFaceLab, l’applicazione seme per DeepFaceLive e il framework (in lingua russa) segnalato per il 95% di tutti i deepfake su YouTube, è anche il software utilizzato da Shamook, il deepfaker il cui straordinario lavoro nel migliorare la comparsa di Luke Skywalker in The Mandalorian ha recentemente ispirato Lucasfilm assumerlo come consulente VFX.
Adattato alle limitazioni di Deepfake
La metodologia del software deepfake come DeepFaceLab e FaceSwap è ben servita da un tipico ambiente webcam e rimuove molti degli ostacoli all’autenticità che possono ancora affliggere i deepfake offline.
Ad esempio, i deepfake si comportano in modo meno convincente quando l’utente passa al profilo (o guarda in alto), si muove rapidamente o è soggetto a cambiamenti di scena o improvvisi cambi di illuminazione.
Pertanto, la natura “statica” di una tipica chiamata o webcam Zoom gioca sui punti di forza del software. Molti degli esempi più venerati di inganno deepfake negli ultimi tre anni hanno visto gli oratori che si sono rivolti direttamente alla telecamera e si sono mossi molto poco in un ambiente ristretto, come l’imposizione di Steve Buscemi su Jennifer Lawrence durante un discorso all’Oscar e la trasformazione di vari trasmissioni politiche “alla telecamera”.
