Bill Swearingen, hacker e ricercatore di cybersecurity, ha sviluppato noRecognition, un progetto basato sulla generazione di pattern grafici progettati per confondere gli algoritmi di computer vision utilizzati nei sistemi automatici di sorveglianza. L’obiettivo non è impedire a una telecamera di riprendere un oggetto, ma fare in modo che il software incaricato di analizzare il video non riesca più a classificarlo correttamente. Nel caso di un’automobile, quindi, il veicolo continua a essere perfettamente visibile nelle immagini registrate, ma può non essere riconosciuto come tale dal sistema di intelligenza artificiale e, di conseguenza, non attivare le successive procedure automatiche di identificazione e lettura della targa.
Swearingen ha mostrato il funzionamento della tecnologia a Las Vegas durante la Def Con, una delle principali conferenze internazionali dedicate alla cybersicurezza. Per il test ha ricoperto una Toyota Yaris con una pellicola caratterizzata da uno dei pattern sviluppati attraverso noRecognition e ha fatto passare ripetutamente l’automobile davanti a una telecamera di Flock, società specializzata in sistemi automatici di sorveglianza e lettura delle targhe. La telecamera ha continuato a registrare normalmente la Yaris, ma il software non è riuscito a classificarla come veicolo e, non attivando il relativo processo di rilevamento, non ha proceduto nemmeno alla lettura della targa.
Il funzionamento si basa sulla differenza tra il modo in cui una persona interpreta visivamente una scena e quello utilizzato da un modello di computer vision. Un essere umano continua a distinguere senza difficoltà la sagoma e le caratteristiche dell’automobile, mentre l’algoritmo costruisce la propria classificazione a partire da caratteristiche, pattern e associazioni apprese durante l’addestramento. Introducendo nell’immagine determinate combinazioni di forme e colori è quindi possibile alterare gli elementi utilizzati dal modello per prendere una decisione, producendo un cosiddetto adversarial pattern: l’oggetto fisico rimane invariato e immediatamente riconoscibile da un osservatore umano, ma la sua rappresentazione digitale può diventare incompatibile con le caratteristiche che il sistema associa normalmente alla categoria “veicolo”.
La configurazione applicata alla Toyota non è stata disegnata manualmente. Swearingen ha utilizzato a sua volta un sistema di intelligenza artificiale per generare e verificare un numero molto elevato di combinazioni geometriche e cromatiche, sottoponendo ogni variante ai modelli di rilevamento per misurarne la capacità di interferire con il riconoscimento. Il processo è durato circa un anno e ha coinvolto approssimativamente 31 milioni di tentativi prima di arrivare a pattern sufficientemente efficaci. Il modello sviluppato per noRecognition sarebbe in grado di produrre configurazioni capaci di eludere 11 differenti algoritmi open source di object detection, compreso quello impiegato dal sistema Flock utilizzato durante la dimostrazione.
La soluzione non costituisce tuttavia un metodo universale per rendere un’automobile non riconoscibile da qualsiasi infrastruttura di sorveglianza. L’efficacia di un adversarial pattern dipende infatti dal modello di computer vision contro il quale è stato progettato e dalle caratteristiche del relativo processo di rilevamento. Una configurazione efficace nei confronti di uno specifico algoritmo può quindi non produrre lo stesso risultato quando viene analizzata da modelli differenti. La definizione di “invisibilità” riguarda inoltre esclusivamente la classificazione automatica: la telecamera continua a catturare e conservare normalmente l’immagine dell’oggetto.
noRecognition non è limitato ai veicoli. Swearingen sta lavorando anche all’impiego degli stessi pattern su capi di abbigliamento come T-shirt e felpe e su altri accessori, con l’obiettivo di interferire con i sistemi automatici utilizzati per individuare persone all’interno delle immagini. Il principio rimane identico a quello sperimentato sulla Toyota: la persona continua a essere visibile nel filmato, ma la presenza di un determinato motivo grafico può rendere più difficile per il modello identificarla correttamente come soggetto appartenente alla categoria ricercata. I pattern possono essere applicati anche ad accessori che coprono parzialmente la testa o il volto e il progetto prevede la possibilità di realizzare configurazioni grafiche personalizzate.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)