La prossima crisi della sicurezza informatica: IA avvelenata
Un tablet è visto al centro di un’installazione artistica high tech al Salt Galata il 6 maggio 2017 a Istanbul, Turchia. L’installazione “Archive Dreaming” dell’artista Refik Anadol utilizza l’intelligenza artificiale per visualizzare quasi 2 milioni di documenti storici ottomani e fotografie dal SALT Research Archive. Controllato da un unico tablet al centro di una stanza a specchio, l’artista ha utilizzato algoritmi di apprendimento automatico per combinare documenti storici, arte, grafica e fotografie per creare un’installazione immersiva che consente alle persone di scorrere, leggere ed esplorare gli archivi. L’archivio SALT Galata comprende circa 1,7 milioni di documenti che vanno dal tardo ottomano ai giorni nostri. La mostra è in mostra allo spazio artistico SALT Galata fino all’11 giugno 2017.
Negli ultimi dieci anni, l’intelligenza artificiale è stata utilizzata per riconoscere i volti, valutare l’affidabilità creditizia e prevedere il tempo. Allo stesso tempo, sono aumentati gli hack sempre più sofisticati che utilizzano metodi più furtivi. La combinazione di intelligenza artificiale e sicurezza informatica era inevitabile poiché entrambi i campi cercavano strumenti migliori e nuovi usi per la loro tecnologia. Ma c’è un enorme problema che minaccia di minare questi sforzi e potrebbe consentire agli avversari di aggirare le difese digitali senza essere scoperti.
Il pericolo è l’avvelenamento dei dati: manipolare le informazioni utilizzate per addestrare le macchine offre un metodo praticamente non rintracciabile per aggirare le difese alimentate dall’IA. Molte aziende potrebbero non essere pronte ad affrontare sfide crescenti. Il mercato globale della sicurezza informatica dell’IA dovrebbe già triplicare entro il 2028 a 35 miliardi di dollari. I fornitori di sicurezza e i loro clienti potrebbero dover mettere insieme più strategie per tenere a bada le minacce.
La natura stessa dell’apprendimento automatico, un sottoinsieme dell’IA, è l’obiettivo dell’avvelenamento dei dati. Date le risme di dati, i computer possono essere addestrati a classificare correttamente le informazioni. Un sistema potrebbe non aver visto un’immagine di Lassie, ma dati sufficienti esempi di diversi animali correttamente etichettati per specie (e persino per razza) dovrebbe essere in grado di supporre che sia un cane. Con ancora più campioni, sarebbe in grado di indovinare correttamente la razza del famoso cane televisivo: Rough Collie. Il computer non lo sa davvero. Sta semplicemente facendo un’inferenza statisticamente informata sulla base dei dati di allenamento passati.
Lo stesso approccio viene utilizzato nella sicurezza informatica. Per catturare il software dannoso, le aziende alimentano i propri sistemi con i dati e lasciano che la macchina impari da sola. I computer dotati di numerosi esempi di codice buono e cattivo possono imparare a cercare software dannoso (o anche frammenti di software) e catturarlo.
Una tecnica avanzata chiamata reti neurali — imita la struttura e i processi del cervello umano — scorre attraverso i dati di addestramento e apporta modifiche in base a informazioni sia note che nuove. Una rete del genere non ha bisogno di vedere un pezzo specifico di codice malevolo per supporre che sia cattivo. Viene appreso da solo e può prevedere adeguatamente il bene contro il male.
Tutto ciò è molto potente ma non è invincibile.
I sistemi di apprendimento automatico richiedono un numero enorme di campioni etichettati correttamente per iniziare a diventare bravi con le previsioni. Anche le più grandi società di sicurezza informatica sono in grado di raccogliere e classificare solo un numero limitato di esempi di malware, quindi non hanno altra scelta che integrare i propri dati di formazione. Alcuni dei dati possono essere di crowdsourcing. “Sappiamo già che un hacker pieno di risorse può sfruttare questa osservazione a proprio vantaggio”, ha osservato Giorgio Severi, uno studente di dottorato presso la Northwestern University, in una recente presentazione al simposio sulla sicurezza di Usenix.
Usando l’analogia con gli animali, se gli hacker felini-fobici volessero causare il caos, potrebbero etichettare un mucchio di foto di bradipi come gatti e inserire le immagini in un database open source di animali domestici. Dal momento che i mammiferi che abbracciano gli alberi appariranno molto meno spesso in un corpus di animali domestici, questo piccolo campione di dati avvelenati ha buone probabilità di indurre un sistema a sputare foto di bradipo quando gli viene chiesto di mostrare i gattini.
È la stessa tecnica per gli hacker più dannosi. Creando con cura codice dannoso, etichettando questi campioni come buoni e quindi aggiungendolo a un batch più ampio di dati, un hacker può ingannare una rete neutrale facendogli supporre che un frammento di software che assomiglia al cattivo esempio sia, in effetti, innocuo. Catturare i campioni ingannevoli è quasi impossibile. È molto più difficile per un essere umano frugare nel codice del computer che separare le immagini dei bradipi da quelle dei gatti.
In una presentazione alla conferenza sulla sicurezza HITCon a Taipei lo scorso anno, i ricercatori Cheng Shin-ming e Tseng Ming-huei hanno dimostrato che il codice backdoor potrebbe bypassare completamente le difese avvelenando meno dello 0,7% dei dati inviati al sistema di apprendimento automatico. Non solo significa che sono necessari solo pochi campioni dannosi, ma indica che un sistema di apprendimento automatico può essere reso vulnerabile anche se utilizza solo una piccola quantità di dati open source non verificati.
Il settore non è cieco di fronte al problema e questa debolezza sta costringendo le società di sicurezza informatica ad adottare un approccio molto più ampio per rafforzare le difese. Un modo per aiutare a prevenire l’avvelenamento dei dati è che gli scienziati che sviluppano modelli di intelligenza artificiale controllino regolarmente che tutte le etichette nei loro dati di addestramento siano accurate. OpenAI LLP, la società di ricerca co-fondata da Elon Musk, ha affermato che quando i suoi ricercatori hanno curato i loro set di dati per un nuovo strumento di generazione di immagini, avrebbero passato regolarmente i dati attraverso filtri speciali per garantire l’accuratezza di ciascuna etichetta. “[Questo] rimuove la grande maggioranza delle immagini che sono falsamente etichettate”, ha detto una portavoce.
Per rimanere al sicuro, le aziende devono garantire che i propri dati siano puliti, ma ciò significa addestrare i propri sistemi con meno esempi di quelli che otterrebbero con le offerte open source. Nell’apprendimento automatico, la dimensione del campione è importante.
Questo gioco al gatto e al topo tra attaccanti e difensori va avanti da decenni, con l’IA semplicemente l’ultimo strumento implementato per aiutare la squadra buona a rimanere in vantaggio. Ricorda: l’intelligenza artificiale non è onnipotente. Gli hacker sono sempre alla ricerca del loro prossimo exploit.
di Tim Culpan dal Washington Post
