La scansione dei contenuti AI di Facebook Edge porta la sorveglianza e la censura in stile NSA sul pianeta
Forse la più orwelliana di tutte le presentazioni di Facebook a F8 la settimana scorsa è stata una presentazione poco nota degli enormi investimenti dell’azienda verso l’esecuzione della moderazione dei contenuti direttamente sui telefoni degli utenti, consentendo a Facebook di scansionare anche messaggi WhatsApp cifrati da persona a persona per i contenuti Facebook o i governi repressivi non amano. Oggi Facebook analizza i post dopo che sono stati caricati sui server centrali, ma mentre l’azienda si muove verso un mondo decentrato di comunicazione criptato da persona a persona, guarda aggressivamente spostando il filtro dei contenuti direttamente sui telefoni degli utenti. Accoppiato con dichiarazioni precedentidalla società che considera la fotocamera, il microfono e la galleria fotografica privata non caricata dell’utente come un gioco equo per la ricerca su Facebook senza notifica o autorizzazione, il cambiamento di Facebook al limite suona in modo orwelliano rende gli spionaggio NSA divulgati dal suono di Edward Snowden come un gioco da ragazzi. Stiamo davvero correndo verso un mondo in cui gli algoritmi AI prodotti da Facebook saranno eseguiti direttamente sui nostri telefoni, monitorando ogni secondo della nostra vita, eliminando la crittografia, impedendoci di vedere o dire qualcosa che la società non gradisce e persino di inviare avvisi quando pronunciamo una frase non autorizzata? Questo è veramente il nostro futuro?
A prima vista, la F8 parla ” Applicare l’intelligenza artificiale per mantenere la piattaforma sicura ” sembra una tipica presentazione tecnica di apprendimento approfondito. Una serie di ingegneri di Facebook fa il punto per parlare della complessità dell’esecuzione di grandi modelli avanzati di intelligenza artificiale su hardware mobile, dalla compressione e quantizzazione dei modelli al consumo energetico per ridurre al minimo il contenuto dei database delle firme a tutti i soliti argomenti del tipo di colloqui di ingegneria trovato in qualsiasi conferenza AI.
Guarda un po ‘più da vicino gli esempi che l’azienda offre e le ramificazioni della visione che presenta e un intero mondo orwelliano emerge.
Mentre Facebook si è spinto pubblicamente verso una nuova visione “privacy-first” della sua piattaforma, passando dall’host web pubblico al provider privato di comunicazioni crittografate, si è discusso molto su come l’azienda sarà in grado di applicare le regole di moderazione dei contenuti e creare modelli comportamentali e di interesse ha bisogno di vendere annunci, quando tutto ciò che raggiunge i suoi server è crittografato.
Da tempo ho suggerito che Facebook si trasformerebbe inevitabilmente in vantaggio per aggirare la crittografia, eseguendo modelli di moderazione e pubblicità direttamente sui dispositivi degli utenti.
Si scopre che è esattamente ciò che intendono fare.
Le organizzazioni terroristiche hanno adottato rapidamente piattaforme di messaggistica cifrate preconfigurate, sfruttando le protezioni della crittografia gratuita di livello militare per proteggere le loro assunzioni e la pianificazione operativa dalle autorità.
Ciò ha presentato un enigma unico alle società di social media i cui prodotti sono stati riproposti per sostenere il terrorismo: come possono filtrare i contenuti dei terroristi quando tutto ciò che raggiunge i loro server viene crittografato?
La risposta, come ho a lungo notato , è quella di eseguire tale filtraggio sui dispositivi degli utenti stessi. Il messaggio originale non crittografato può essere scansionato sul telefono del mittente prima di crittografarlo per la trasmissione e il messaggio decrittografato può essere rianalizzato sul dispositivo del destinatario dopo che è stato decodificato per la visualizzazione.
Nella sua presentazione, Facebook discute i suoi progressi nello svolgere la scansione delle firme dei contenuti direttamente sui telefoni degli utenti. Un database di firme di contenuto non autorizzato noto viene caricato sul telefono dell’utente e ogni messaggio che tentano di inviare viene scansionato su questo database direttamente sul telefono dell’utente prima che il messaggio venga accettato per la consegna a Facebook. Anche i messaggi crittografati possono essere scansionati in questo modo prima della crittografia, eliminando la capacità dei cattivi attori di condividere contenuti illeciti noti attraverso canali crittografati.
Mentre Facebook utilizza l’esempio del contenuto di sfruttamento infantile nella sua presentazione, lo stesso processo potrebbe essere facilmente utilizzato per combattere la condivisione di contenuti noti di terrorismo.
Tuttavia, la società va ben oltre il semplice blocco dei contenuti noti, per descrivere un futuro in cui la sua intera infrastruttura di moderazione dei contenuti basata su AI vive sui telefoni degli utenti anziché sui server di Facebook. La società distribuiva periodicamente aggiornamenti a una galleria di algoritmi AI e database di firme che risiedevano sui telefoni degli utenti e scansionano tutti i loro contenuti prima che vengano pubblicati o inviati come messaggio.
Un messaggio privato di solo testo di WhatsApp tra amici che viola le regole del contenuto di Facebook verrebbe eliminato sul dispositivo del mittente prima che potesse essere inviato.
In breve, spostando la moderazione dei contenuti fino al bordo, Facebook non cancellerà più le ore di cattiva qualità dei contenuti, giorni o addirittura settimane dopo che è diventato virale e si diffonderà agli angoli più remoti del Web – eliminerà i post prima che possano essere inviati innanzitutto.
Mentre pochi verserebbero lacrime su un terrorista che non è più in grado di condividere la propaganda di reclutamento o un gruppo di odio che incita alla violenza contro un gruppo minoritario usando WhatsApp, il fatto che gli algoritmi di moderazione di Facebook siano costruiti nell’oscurità significa che non abbiamo visibilità su cosa costituirà discorso proibito agli occhi del futuro sempre più guidato da AI di Facebook.
Qualsiasi discussione sulla regolamentazione governativa di Facebook o sulle nuove leggi sulla privacy dei dati sarà vietata come “discorso inaccettabile” e ogni messaggio WhatsApp crittografato che menziona qualcosa di negativo su Facebook cancellato prima che possa essere inviato?
Purtroppo non è molto lontano vedere Facebook prendere le sue “regole di utilizzo del logo” che erano alla base della sua cancellazione degli annunci del senatore Elizabeth Warren e codificarli in un algoritmo che cancella ogni messaggio privato crittografato che menziona l’azienda o fa riferimento al suo logo in un contesto che non è stato preapprovato dall’ufficio PR della società.
Cosa succede quando i governi stessi si svegliano all’idea di fermare preventivamente tutte le comunicazioni private che non amano?
Basterebbe un semplice ordine del tribunale affinché un paese costringa forzatamente Facebook ad aggiungere un ulteriore set di filtri per i contenuti ai suoi cittadini per vietare loro di inviare o ricevere messaggi non graditi da quel governo. Un regime repressivo potrebbe vietare ogni conversazione sulla democrazia o sui diritti e tutte le critiche del governo. Un paese in cui il LBGT è condannato a morte potrebbe bandire tutte le menzioni della cultura LBGT.
Un governo che lavora con Facebook per mettere al bando tutti i contenuti terroristici all’interno dei propri confini potrebbe facilmente utilizzare le sue stesse leggi di sicurezza nazionale per costringere la compagnia a vietare tutte le comunicazioni a favore della democrazia che considera come una minaccia alla sua esistenza.
Forse la cosa più preoccupante, comunque, è una domanda sollevata da uno degli ingegneri di Facebook nel video. Nota che quando la moderazione dei contenuti viene eseguita direttamente sui dispositivi degli utenti senza che nessun dato sia trasferito su Facebook, la società non ha modo di sapere quando si verificano violazioni o quali sono i contenuti violatori. Se un utente tenta di inviare un post che violi le regole tramite il messaggio WhatsApp crittografato, l’algoritmo di moderazione del contenuto di IA sul telefono segnalerà il post e ne impedirà l’invio. Tuttavia, Facebook stesso non avrebbe registrato un record che l’utente in particolare ha tentato di pubblicare un pezzo di contenuto violante e non avrà una copia di quel pezzo di contenuto per aiutare a mettere a punto i suoi algoritmi nel tempo.
L’ingegnere solleva la questione di come Facebook potrebbe ricevere avvisi di tentativi di postare messaggi vietati e come potrebbe ricevere una copia di quel contenuto, ma si muove senza rispondere a questa domanda.
Ciò solleva lo spettro inquietante che gli algoritmi di moderazione on-phone di Facebook potrebbero in definitiva essere progettati per inviare un avviso alla società ogni volta che bloccano un pezzo di contenuto, insieme a una copia del messaggio offensivo.
A peggiorare le cose, all’inizio dell’anno la società ha chiarito che vede ogni utente che installa la sua app sul proprio telefono come concessione alla società il diritto legale non solo di tracciare la propria posizione in tempo reale tramite il GPS del proprio telefono, ma in modo più inquietante, per accedere alla telecamera, microfono e foto non caricate che risiedono sul telefono per qualsiasi scopo.
I termini che regolano l’accesso della società ai nostri telefoni sono straordinariamente ampi, con la società che richiama specificamente l’attenzione su questa linea nella sua Politica sui dati che ha il diritto di accedere “alle informazioni che ci consente di ricevere tramite le impostazioni del dispositivo attivate, come l’accesso alla tua posizione GPS, fotocamera o foto “e utilizzare tali informazioni a” per verificare account e attività, combattere comportamenti dannosi, rilevare e prevenire lo spam e altre esperienze negative, mantenere l’integrità dei nostri prodotti e promuovere la sicurezza e la sicurezza dentro e fuori Prodotti di Facebook … [compresi] indagano su attività sospette o violazioni dei nostri termini o politiche, o per rilevare quando qualcuno ha bisogno di aiuto. “
Facebook ha riconosciuto all’inizio di quest’anno di tracciare segretamente le posizioni in tempo reale degli utenti che ritiene una minaccia per l’azienda senza la loro conoscenza o il permesso.
Non è difficile immaginare che la società faccia un passo avanti e trasformi i suoi dispositivi da due miliardi di utenti in una rete di sorveglianza globale oltre i sogni più sfrenati dei governi più repressivi del mondo.
Edge AI è la chiave di questa visione orwelliana.
Oggi se Facebook voleva scansionare tutte le foto sul telefono di un utente per vedere se avevano mai scattato foto di proprietà di Facebook o posato con un’arma o se menzionavano Facebook nelle loro chiamate vocali, Facebook avrebbe dovuto caricare tutto questo i dati tornano ai suoi server, il che probabilmente violerebbe qualsiasi numero di leggi sulle intercettazioni telefoniche, per non parlare della saturazione della quota di dati mobili dell’utente.
Invece, una volta che gli algoritmi di scansione dei contenuti telefonici di Facebook sono sufficientemente affidabili, non è più necessario spedire nulla dal dispositivo. Gli algoritmi di riconoscimento delle immagini possono setacciare la galleria fotografica privata dell’utente e monitorare tutte le foto scattate, incluse quelle che non condividono mai con nessuno. Gli algoritmi di riconoscimento vocale possono monitorare le loro telefonate e contrassegnare ogni menzione di Facebook e il contesto in cui è menzionata. Il microfono potrebbe anche essere lasciato permanentemente acceso per scansionare l’ambiente di sfondo circostante 24/7, creando una rete distribuita a livello mondiale di miliardi di su microfoni che trascrivono conversazioni private globali.
In molti modi, lo spostamento di Facebook verso un futuro criptato sulla “privacy first” potrebbe essere meglio descritto come “spostare la sorveglianza di Facebook fino al limite”.
La società non ha risposto a diverse e-mail che richiedevano commenti.
Mettendo tutto questo insieme, questa non è una distopia immaginaria fantascientifica del futuro lontano. È il vero mondo orwelliano che Facebook ci sta portando oggi. Le tecnologie di base sono tutte qui e, come la presentazione F8 della società illustra vividamente, sta investendo molto e facendo rapidi progressi verso questo futuro.
Alla fine, forse la transizione verso un futuro “privacy first” era in realtà Newspeak per il nostro primo passo verso il 1984.
Kalev Leetaru da Forbes.com