I robot deepfake su Telegram rendono il lavoro di creazione di nudi falsi pericolosamente facile
I bot sono stati utilizzati per creare più di 100.000 immagini
I ricercatori hanno scoperto un “ecosistema deepfake” sull’app di messaggistica Telegram incentrato su bot che generano falsi nudi su richiesta. Gli utenti che interagiscono con questi bot affermano che stanno principalmente creando nudi di donne che conoscono utilizzando immagini tratte dai social media, che poi condividono e scambiano tra loro in vari canali Telegram.
L’indagine proviene dalla società di sicurezza Sensity, che si concentra su ciò che chiama “intelligence visiva sulle minacce”, in particolare sulla diffusione dei deepfake. I ricercatori di Sensity hanno scoperto che più di 100.000 immagini sono state generate e condivise nei canali pubblici di Telegram fino a luglio 2020 (il che significa che il numero totale di immagini generate, comprese quelle mai condivise e quelle realizzate da luglio, è molto più alto). La maggior parte degli utenti di questi canali, circa il 70%, proviene dalla Russia e dai paesi limitrofi, afferma Sensity. The Verge ha potuto confermare che molti dei canali indagati dall’azienda sono ancora attivi.
GLI OBIETTIVI DEI ROBOT APPARENTEMENTE INCLUDONO BAMBINI MINORENNI
I bot sono gratuiti, ma generano finti nudi con filigrane o solo nudità parziali. Gli utenti possono quindi pagare una tariffa pari a pochi centesimi per “scoprire” completamente le immagini. Una “tariffa per principianti” addebita agli utenti 100 rubli (circa $ 1,28) per generare 100 nudi falsi senza filigrane per un periodo di sette giorni. Sensity afferma che “un numero limitato” di immagini generate dal bot presenta obiettivi “che sembravano essere minorenni”.
Sia The Verge che Sensity hanno contattato Telegram per chiedere perché consentono questo contenuto sulla loro app ma non hanno ancora ricevuto risposte. Sensity dice di aver contattato anche le autorità preposte all’applicazione della legge.
In un sondaggio in uno dei canali principali per la condivisione di nudi deepfake (originariamente pubblicati sia in russo che in inglese), la maggior parte degli utenti ha affermato di voler generare immagini di donne che conoscevano nella “vita reale”. Immagine: Sensity
Il software utilizzato per generare queste immagini è noto come DeepNude. È apparso per la prima volta sul Web lo scorso giugno , ma il suo creatore ha rimosso il suo sito web poche ore dopo aver ricevuto la copertura della stampa mainstream, dicendo che “la probabilità che le persone lo abusino è troppo alta”. Tuttavia, il software ha continuato a diffondersi sui backchannel e Sensity afferma che DeepNude “da allora è stato sottoposto a reverse engineering e può essere trovato in forme avanzate su repository open source e siti Web di torrent”. Ora viene utilizzato per alimentare i bot di Telegram, che gestiscono automaticamente i pagamenti per generare entrate per i loro creatori.
DeepNude utilizza una tecnica di intelligenza artificiale nota come reti antagoniste generative, o GAN, per generare nudi falsi, con le immagini risultanti che variano in qualità. La maggior parte sono ovviamente falsi, con carne imbrattata o pixellata, ma alcuni possono essere facilmente scambiati per immagini reali.
I BOT DI TELEGRAM RENDONO LA GENERAZIONE DI FALSI NUDI FACILE COME INVIARE UN’IMMAGINE
Da prima dell’arrivo di Photoshop, le persone hanno creato nudi falsi non consensuali di donne. Esistono molti forum e siti Web attualmente dedicati a questa attività che utilizzano strumenti non AI, con utenti che condividono nudi di celebrità e persone che conoscono. Ma i deepfake hanno portato a una generazione più rapida di immagini più realistiche. Ora, automatizzare questo processo tramite i bot di Telegram rende la generazione di nudi falsi facile come inviare e ricevere immagini.
“La differenza fondamentale è l’accessibilità di questa tecnologia”, ha dichiarato a The Verge il CEO di Sensity e coautore del rapporto, Giorgio Patrini . “È importante notare che altre versioni del core AI di questo bot, l’elaborazione e la sintesi delle immagini, sono disponibili gratuitamente nei repository di codice online. Ma devi essere un programmatore e avere una certa comprensione della visione artificiale per farli funzionare, oltre a un hardware potente. In questo momento, tutto questo è irrilevante in quanto viene curato dal bot incorporato in un’app di messaggistica. “
Il rapporto di Sensity afferma che è “ragionevole presumere” che la maggior parte delle persone che utilizzano questi bot “siano principalmente interessate a consumare pornografia deepfake” (che rimane una categoria popolare sui siti porno). Ma queste immagini e video possono essere utilizzati anche per estorsioni, ricatti, molestie e altro. Ci sono stati numerosi casi documentati di donne prese di mira utilizzando nudi generati dall’intelligenza artificiale, ed è possibile che alcuni di coloro che creano nudi utilizzando i bot su Telegram lo stiano facendo con questi motivi in mente.
“UMILIARE con FOTO E VIDEO FALSI OGNUNO DI NOI PUÒ ROVINARE LA NOSTRA REPUTAZIONE”
Patrini ha detto a The Verge che i ricercatori di Sensity non avevano visto prove dirette delle creazioni del bot utilizzate per questi scopi, ma ha detto che la società credeva che ciò stesse accadendo. Ha aggiunto che mentre la minaccia politica dei deepfake era stata “calcolata male” (“dal punto di vista degli autori, è più facile ed economico ricorrere a immagini di photoshopping e ottenere un impatto simile per diffondere disinformazione, con meno sforzo”), è chiaro che la tecnologia rappresenta “una seria minaccia per la reputazione e la sicurezza personali”.
