I ricercatori identificano una caratteristica resiliente dei deepfake che potrebbe aiutare il rilevamento a lungo termine
Da quando le prime soluzioni di rilevamento dei deepfake hanno iniziato a emergere nel 2018, il settore della visione artificiale e della ricerca sulla sicurezza ha cercato di definire una caratteristica essenziale dei video deepfake: segnali che potrebbero rivelarsi resistenti ai miglioramenti nelle popolari tecnologie di sintesi facciale (come il deepfake basato su autoencoder pacchetti come DeepFaceLab e FaceSwap e l’uso di Generative Adversarial Networks per ricreare, simulare o alterare volti umani).
Molti dei “racconti”, come la mancanza di battito di ciglia , sono stati resi superflui dai miglioramenti nei deepfake , mentre il potenziale utilizzo di tecniche di provenienza digitale (come la Content Authenticity Initiative guidata da Adobe ), inclusi gli approcci blockchain e il watermark digitale della potenziale fonte foto: o richiedono modifiche radicali e costose al corpo esistente di immagini sorgente disponibili su Internet, oppure richiederebbero un notevole sforzo di cooperazione tra nazioni e governi per creare sistemi di vigilanza e autenticazione.
Pertanto sarebbe molto utile se si potesse discernere un tratto veramente fondamentale e resiliente in contenuti di immagini e video che presentano volti umani alterati, inventati o scambiati di identità; una caratteristica che potrebbe essere dedotta direttamente da video falsificati, senza verifica su larga scala, hashing delle risorse crittografiche , controllo del contesto, valutazione della plausibilità, routine di rilevamento incentrate sugli artefatti o altri approcci onerosi al rilevamento dei deepfake.
Deepfake nel frame
Una nuova collaborazione di ricerca tra Cina e Australia ritiene di aver trovato questo “Santo Graal”, sotto forma di interruzione della regolarità .
Gli autori hanno escogitato un metodo per confrontare l’integrità spaziale e la continuità temporale dei video reali con quelli che contengono contenuti deepfake e hanno scoperto che qualsiasi tipo di interferenza deepfake interrompe la regolarità dell’immagine, per quanto impercettibilmente.
Ciò è in parte dovuto al fatto che il processo di deepfake suddivide il video di destinazione in fotogrammi e applica l’effetto di un modello deepfake addestrato in ciascun fotogramma (sostituito). Le distribuzioni deepfake popolari agiscono allo stesso modo degli animatori, sotto questo aspetto, prestando maggiore attenzione all’autenticità di ogni fotogramma che al contributo di ogni fotogramma all’integrità spaziale complessiva e alla continuità temporale del video.
Dall’articolo: A) Differenze tra i tipi di dati. Qui vediamo che i disturbi di p-fake cambiano la qualità spazio-temporale dell’immagine allo stesso modo di un deepfake, senza sostituire l’identità. B) Analisi del rumore dei tre tipi di dati, che mostra come p-fake imita l’interruzione del deepfake. C) Una visualizzazione temporale dei tre tipi di dati, con dati reali che dimostrano una maggiore integrità nella fluttuazione. D) la visualizzazione T-SNE delle funzionalità estratte per video reali, falsi e p-falsi. Fonte: https://arxiv.org/pdf/2207.10402.pdf
Questo non è il modo in cui un codec video tratta una serie di fotogrammi quando viene eseguita o elaborata una registrazione originale. Per risparmiare sulla dimensione del file o rendere un video adatto allo streaming, un’enorme quantità di informazioni viene scartata dal codec video. Anche con le impostazioni di massima qualità, il codec assegnerà i fotogrammi chiave (una variabile che può essere impostata dall’utente) – immagini intere, praticamente non compresse che si verificano a un intervallo prestabilito nel video.
I fotogrammi interstiziali tra fotogrammi chiave sono, in una certa misura, stimati come una variante dei fotogrammi e riutilizzeranno quante più informazioni possibili dai fotogrammi chiave adiacenti, piuttosto che essere fotogrammi completi a sé stanti.
A sinistra, un fotogramma chiave completo, o ‘i-frame’, è memorizzato nel video compresso, a spese delle dimensioni del file; a destra, un “delta frame” interstiziale riutilizza qualsiasi parte applicabile del fotogramma chiave più ricco di dati. Fonte: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/
In questo modo, il blocco (contenente x numero di fotogrammi, a seconda delle impostazioni dei fotogrammi chiave) è probabilmente l’unità più piccola considerata in un tipico video compresso, piuttosto che un singolo fotogramma. Anche il fotogramma chiave stesso, noto come i-frame , fa parte di quell’unità.
In termini di animazione tradizionale dei cartoni animati, un codec esegue una specie di in-betweening , con i fotogrammi chiave che operano come tendoni per i fotogrammi interstiziali derivati, noti come fotogrammi delta .
Al contrario, la sovrapposizione deepfake dedica enorme attenzione e risorse a ogni singolo fotogramma, senza considerare il contesto più ampio del fotogramma e senza tener conto del modo in cui la compressione e la codifica basata su blocchi influenzano le caratteristiche del video “autentico”.
Uno sguardo più da vicino alla discontinuità tra la qualità temporale di un video autentico (a sinistra) e lo stesso video quando viene interrotto da deepfake (a destra).
Sebbene alcuni dei migliori deepfaker utilizzino un’estesa post-elaborazione, in pacchetti come After Effects, e sebbene la distribuzione DeepFaceLab abbia una certa capacità nativa di applicare procedure di “fusione” come il motion blur, tale gioco di prestigio non influisce sulla mancata corrispondenza di qualità spaziale e temporale tra video autentici e deepfak.
Il nuovo articolo si intitola Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption e proviene da ricercatori della Tsinghua University, del Department of Computer Vision Technology (VIS) di Baidu Inc. e dell’Università di Melbourne
Video falsi “falsi”.
I ricercatori dietro l’articolo hanno incorporato la funzionalità della ricerca in un modulo plug-and-play chiamato Pseudo-fake Generator ( P-fake Generator ), che trasforma video reali in video fake-deepfake, perturbandoli nello stesso modo in cui l’effettivo processo di deepfake lo fa, senza eseguire effettivamente alcuna operazione di deepfake.
I test indicano che il modulo può essere aggiunto a tutti i sistemi di rilevamento deepfake esistenti praticamente a costo zero delle risorse e che ne migliora notevolmente le prestazioni.
La scoperta potrebbe aiutare ad affrontare uno degli altri ostacoli nella ricerca sul rilevamento dei deepfake: la mancanza di set di dati autentici e aggiornati. Poiché la generazione di deepfake è un processo elaborato e dispendioso in termini di tempo, la comunità ha sviluppato una serie di set di dati deepfake negli ultimi cinque anni, molti dei quali sono piuttosto obsoleti.
Isolando l’interruzione della regolarità come segnale indipendente dai deepfake per i video alterati post-facto , il nuovo metodo consente di generare campioni illimitati e video di set di dati che si inseriscono in questo aspetto dei deepfake.
Panoramica del blocco STE, in cui la convoluzione temporale a livello di canale viene utilizzata come stimolo per generare codifiche spazio-temporali migliorate, risultando nella stessa firma che produrrà anche un deepfake molto convincente. Con questo metodo, è possibile generare video falsi “falsi” che presentano le stesse caratteristiche distintive di qualsiasi video alterato in stile deepfake e che non dipendono da distribuzioni particolari o da aspetti volatili come il comportamento delle funzionalità o gli artefatti algoritmici.
Prove
I ricercatori hanno condotto esperimenti su sei noti set di dati utilizzati nella ricerca sul rilevamento di deepfake: FaceForensics++ (FF++); WildDeepFake ; Anteprima Deepfake Detection Challenge (DFDCP); Celeb-DF ; Rilevamento di falsi falsi (DFD); e Face Shifter (FSh).
Per FF++, i ricercatori hanno addestrato il loro modello sul set di dati originale e testato ciascuno dei quattro sottoinsiemi separatamente. Senza l’uso di materiale deepfake nella formazione, il nuovo metodo è stato in grado di superare lo stato dell’arte dei risultati.
Il metodo ha anche conquistato la pole position rispetto al set di dati compresso FF++ C23, che fornisce esempi che presentano il tipo di artefatti di compressione credibili negli ambienti di visualizzazione deepfake del mondo reale.
Gli autori commentano:
“Le prestazioni all’interno di FF++ convalidano la fattibilità della nostra idea principale, mentre la generalizzabilità rimane un problema importante dei metodi di rilevamento dei deepfake esistenti, poiché le prestazioni non sono garantite durante i test su deepfake generati da tecniche invisibili.
“Considera ulteriormente la realtà della corsa agli armamenti tra rilevatori e falsari, la generalizzabilità è un criterio importante per misurare l’efficacia di un metodo di rilevamento nel mondo reale.”
Sebbene i ricercatori abbiano condotto una serie di sottotest (vedi carta per i dettagli) sulla “robustezza” e variando i tipi di input video (es. reali, falsi, falsi, ecc.), i risultati più interessanti provengono dal test per le prestazioni tra set di dati.
Per questo, gli autori hanno addestrato il loro modello sulla summenzionata versione c23 di FF++ nel “mondo reale” e l’hanno testato su quattro set di dati, ottenendo, affermano gli autori, prestazioni superiori in tutti loro.
Risultati della sfida tra set di dati. L’articolo rileva che SBI utilizza un approccio simile a quello degli autori, mentre, secondo i ricercatori, p-fake mostra prestazioni migliori per l’interruzione della regolarità spazio-temporale.
Il documento afferma:
‘Sul Deepwild più impegnativo, il nostro metodo supera il metodo SOTA di circa 10 punti percentuali in termini di AUC%. Pensiamo che ciò sia dovuto alla grande diversità di deepfake in Deepwild, che impedisce ad altri metodi di generalizzare bene dai deepfake visti.’
Le metriche utilizzate per i test erano Accuracy Score (ACC), Area Under the Receiver Operating Characteristic Curve (AUC) e Equal Error Rate (EER).
Contrattacchi?
Sebbene i media caratterizzino la tensione tra sviluppatori di deepfake e ricercatori di rilevamento di deepfake in termini di una guerra tecnologica , è discutibile che i primi stiano semplicemente cercando di ottenere risultati più convincenti e che l’aumento della difficoltà di rilevamento di deepfake sia un sottoprodotto circostanziale di questi sforzi.
Il fatto che gli sviluppatori cercheranno di affrontare questa lacuna appena rivelata dipende, forse, dal fatto che ritengano o meno che l’interruzione della regolarità possa essere percepita in un video deepfake, ad occhio nudo, come un segno di inautenticità, e che quindi questa metrica vale la pena affrontare da un punto di vista puramente qualitativo.
Sebbene siano trascorsi cinque anni da quando i primi deepfake sono stati pubblicati online, il deepfake è ancora una tecnologia relativamente nascente e la comunità è probabilmente più ossessionata dai dettagli e dalla risoluzione che dal contesto corretto o dall’abbinamento delle firme dei video compressi, entrambi i quali richiedono un certo ” degrado’ dell’output – la cosa contro cui l’intera comunità dei deepfake sta attualmente lottando.
Se il consenso generale si rivela essere che l’interruzione della regolarità è una firma nascente che non influisce sulla qualità, potrebbe non esserci alcuno sforzo per compensarla, anche se può essere “cancellata” da alcuni processi di post-elaborazione o architettura procedure, il che è tutt’altro che chiaro.
