Kashmir Hill da The Newyorktimes.com
Accusato erroneamente da un algoritmo
In quello che potrebbe essere il primo caso noto nel suo genere, un errore di riconoscimento facciale ha portato all’arresto di un uomo del Michigan per un crimine che non ha commesso.
“Questo non sono io”, ha detto agli investigatori Robert Julian-Borchak Williams. “Pensi che tutti gli uomini neri si assomiglino?”Credito…Sylvia Jarrus per The New York Times
Nota: in risposta a questo articolo, la procura della contea di Wayne ha dichiarato che Robert Julian-Borchak Williams potrebbe avere il caso e i suoi dati relativi alle impronte digitali cancellati. “Ci scusiamo”, ha dichiarato il procuratore, Kym L. Worthy, in una nota , aggiungendo: “Questo non compensa in alcun modo le ore trascorse in carcere dal signor Williams”.
Un giovedì pomeriggio di gennaio, Robert Julian-Borchak Williams era nel suo ufficio presso una società di forniture automobilistiche quando ricevette una telefonata dal dipartimento di polizia di Detroit che gli disse di venire alla stazione per essere arrestato. All’inizio pensò che fosse uno scherzo.
Un’ora dopo, quando entrò nel suo vialetto in una suddivisione silenziosa a Farmington Hills, in Michigan, una macchina della polizia si fermò dietro, bloccandolo dentro. Due ufficiali scesero e ammanettarono il signor Williams sul suo prato davanti, davanti al suo moglie e due giovani figlie, che erano sconvolte. La polizia non ha detto perché fosse stato arrestato, mostrandogli solo un pezzo di carta con la sua foto e le parole “crimine mandato” e “furto”.
Sua moglie Melissa gli chiese dove fosse portato. “Google it”, ricorda un ufficiale che risponde.
La polizia ha portato il signor Williams in un centro di detenzione. Si fece prendere la sua foto segnaletica, le impronte digitali e il DNA e fu trattenuto durante la notte. Verso mezzogiorno di venerdì, due detective lo hanno portato in una stanza per gli interrogatori e hanno messo tre pezzi di carta sul tavolo, a faccia in giù.
“Quando è stata l’ultima volta che sei andato in un negozio Shinola?” chiese uno dei detective, nel ricordo del signor Williams. Shinola è una boutique di lusso che vende orologi, biciclette e articoli in pelle nel quartiere alla moda Midtown di Detroit. Williams ha detto che lui e sua moglie lo hanno verificato quando il negozio è stato aperto nel 2014.
Grazie per aver letto The Times.
Iscriviti a The Times
Il detective girò il primo pezzo di carta. Era un’immagine fissa di un video di sorveglianza, che mostrava un uomo pesante, vestito di nero e con un berretto rosso di St. Louis Cardinals, in piedi davanti a un quadrante. Cinque orologi, per un valore di $ 3.800, sono stati rubati.
“Sei tu?” chiese il detective.
Il secondo pezzo di carta era un primo piano. La foto era sfocata, ma chiaramente non era il signor Williams. Raccolse l’immagine e la tenne vicino al viso.
“No, questo non sono io”, ha detto Williams. “Pensi che tutti gli uomini neri si assomiglino?”
Il signor Williams sapeva di non aver commesso il crimine in questione. Quello che non avrebbe potuto sapere, mentre sedeva nella stanza degli interrogatori, è che il suo caso potrebbe essere il primo resoconto noto di un americano che è stato arrestato ingiustamente sulla base di una corrispondenza errata da un algoritmo di riconoscimento facciale, secondo gli esperti di tecnologia e legge .
Un sistema difettoso
Un dibattito nazionale infuria sul razzismo nelle forze dell’ordine . In tutto il paese, milioni di persone protestano non solo per le azioni dei singoli ufficiali, ma per i pregiudizi nei sistemi utilizzati per sorvegliare le comunità e identificare le persone per l’accusa.
I sistemi di riconoscimento facciale sono stati utilizzati dalle forze di polizia per oltre due decenni . Recenti studi del MIT e del National Institute of Standards and Technology , o NIST, hanno scoperto che mentre la tecnologia funziona relativamente bene sugli uomini bianchi, i risultati sono meno accurati per altri dati demografici, in parte a causa della mancanza di diversità nelle immagini utilizzate sviluppare i database sottostanti.
L’anno scorso, durante un’audizione pubblica sull’uso del riconoscimento facciale a Detroit , un assistente capo della polizia è stato tra quelli che hanno sollevato preoccupazioni. “Sulla questione dei falsi positivi – questo è assolutamente fattuale ed è ben documentato”, ha detto James White. “Quindi questo mi riguarda come un maschio afroamericano.”
Questo mese, Amazon , Microsoft e IBM hanno annunciato che avrebbero interrotto o messo in pausa le loro offerte di riconoscimento facciale per le forze dell’ordine. I gesti erano in gran parte simbolici, dato che le aziende non sono grandi attori del settore. I dipartimenti di polizia tecnologica utilizzati sono forniti da aziende che non sono nomi familiari, come Vigilant Solutions, Cognitec, NEC, Rank One Computing e Clearview AI .
Clare Garvie, avvocato presso il Centro per la privacy e la tecnologia dell’Università di Georgetown, ha scritto dei problemi con l’ uso del riconoscimento facciale da parte del governo . Sostiene che le immagini di ricerca di bassa qualità – come un’immagine fissa da un video di sorveglianza sgranato – dovrebbero essere vietate e che i sistemi attualmente in uso dovrebbero essere testati rigorosamente per accuratezza e distorsione.
“Esistono algoritmi mediocri e ce ne sono di buoni, e le forze dell’ordine dovrebbero comprare solo quelli buoni”, ha detto la signora Garvie.
Sull’esperienza del signor Williams nel Michigan, ha aggiunto: “ Sospetto fortemente che questo non sia il primo caso a identificare erroneamente qualcuno per arrestarlo per un crimine che non ha commesso. Questa è la prima volta che lo sappiamo. “
In una formazione perpetua
Nell’ottobre 2018, qualcuno ha rubato cinque orologi, del valore di $ 3.800, da un negozio Shinola a Detroit.Credito…Sylvia Jarrus per The New York Times
Il caso del signor Williams combina la tecnologia difettosa con il cattivo lavoro della polizia, dimostrando come il riconoscimento facciale possa andare storto.
Il taccheggio di Shinola si è verificato nell’ottobre 2018. Katherine Johnston, un investigatore di Mackinac Partners, una società di prevenzione delle perdite, ha rivisto il video di sorveglianza del negozio e ne ha inviato una copia alla polizia di Detroit, secondo il loro rapporto.
Cinque mesi dopo, nel marzo 2019, Jennifer Coulson, un esaminatore di immagini digitali per la polizia di stato del Michigan, ha caricato una “immagine di sonda” – un’immagine fissa del video, che mostra l’uomo con il cappuccio del cardinale – nel database di riconoscimento facciale dello stato . Il sistema avrebbe mappato il volto dell’uomo e cercato quelli simili in una raccolta di 49 milioni di foto.
La tecnologia dello stato è fornita per $ 5,5 milioni da una società chiamata DataWorks Plus . Fondata nella Carolina del Sud nel 2000, la società ha offerto per la prima volta un software di gestione delle foto segnaletiche, ha affermato Todd Pastorini, direttore generale. Nel 2005, l’azienda ha iniziato ad espandere il prodotto, aggiungendo strumenti di riconoscimento facciale sviluppati da fornitori esterni.
Quando uno di questi subappaltatori sviluppa un algoritmo per riconoscere i volti, DataWorks tenta di giudicare la sua efficacia eseguendo ricerche utilizzando immagini di bassa qualità di individui che sa essere presenti in un sistema. “Abbiamo testato molta spazzatura là fuori”, ha detto Pastorini. Questi controlli, ha aggiunto, non sono “scientifici” – DataWorks non misura formalmente l’accuratezza o la distorsione dei sistemi.
“Siamo diventati uno pseudo-esperto nella tecnologia”, ha dichiarato Pastorini.
Nel Michigan, il software DataWorks utilizzato dalla polizia di stato incorpora componenti sviluppati dal colosso tecnologico giapponese NEC e da Rank One Computing, con sede in Colorado, secondo il sig. Pastorini e un portavoce della polizia di stato. Nel 2019, gli algoritmi di entrambe le società sono stati inclusi in uno studio federale su oltre 100 sistemi di riconoscimento facciale che hanno scoperto che erano di parte , identificando erroneamente i volti afroamericani e asiatici da 10 a 100 volte più dei volti caucasici.
L’amministratore delegato di Rank One, Brendan Klare, ha dichiarato che la società ha sviluppato un nuovo algoritmo per la revisione del NIST che “restringe le differenze di precisione tra le diverse coorti demografiche”.
Dopo che la signora Coulson, della polizia di stato, ha eseguito la sua ricerca dell’immagine della sonda, il sistema avrebbe fornito una riga di risultati generati dal NEC e una riga dal grado 1, insieme a punteggi di fiducia. La foto della patente di guida del signor Williams era tra le partite. La signora Coulson lo ha inviato alla polizia di Detroit come “Rapporto investigativo sul piombo”.
“Questo documento non è un’identificazione positiva”, dice il file in grassetto in alto. “È solo un indagine investigativa e non è probabile causa di arresto.”
Questo è ciò che i fornitori di tecnologia e le forze dell’ordine sottolineano sempre quando difendono il riconoscimento facciale: si suppone che sia solo un indizio nel caso, non una pistola fumante. Prima di arrestare il signor Williams, gli investigatori avrebbero potuto cercare altre prove del fatto che avesse commesso il furto, come testimonianze oculari, dati sulla posizione dal suo telefono o prove del fatto che possedeva l’abbigliamento che il sospetto indossava.
In questo caso, tuttavia, secondo il rapporto della polizia di Detroit, gli investigatori hanno semplicemente incluso la foto del signor Williams in un “pacchetto fotografico di 6 pacchetti” che hanno creato e mostrato alla signora Johnston, l’appaltatore per la prevenzione delle perdite di Shinola, e lei lo ha identificato. (La signora Johnston ha rifiutato di commentare.)
‘Suppongo che il computer abbia sbagliato’
Il signor Klare, di grado 1, ha riscontrato un difetto nel ruolo della signora Johnston nel processo. “Non sono sicuro che ciò li qualifichi come testimone oculare o che dia alla loro esperienza un peso maggiore rispetto ad altre persone che potrebbero aver visto lo stesso video dopo il fatto”, ha affermato. John Wise, portavoce di NEC, ha dichiarato: “Una partita che utilizza il solo riconoscimento facciale non è un mezzo per l’identificazione positiva”.
Il venerdì in cui il signor Williams era seduto in una stanza degli interrogatori della polizia di Detroit era il giorno prima del suo 42 ° compleanno. Quella mattina, sua moglie mandò un’email al suo capo per dire che gli sarebbe mancato il lavoro a causa di un’emergenza familiare; ha battuto il suo record di quattro anni di presenza perfetta.
Nel ricordo del signor Williams, dopo aver tenuto il video di sorveglianza ancora vicino al suo viso, i due detective si appoggiarono alle loro sedie e si guardarono l’un l’altro. Un detective, apparentemente dispiaciuto, disse al suo partner: “Immagino che il computer abbia sbagliato.”
Hanno consegnato un terzo pezzo di carta, che era un’altra foto dell’uomo del negozio Shinola accanto alla patente di guida del signor Williams. Il signor Williams ha nuovamente sottolineato che non erano la stessa persona.
Il signor Williams gli chiese se fosse libero di andare. “Purtroppo no”, ha detto un detective.
Il signor Williams è stato tenuto in custodia fino a quella sera, 30 ore dopo essere stato arrestato, e rilasciato su un legame personale da $ 1.000. Ha aspettato fuori sotto la pioggia per 30 minuti fino a quando sua moglie non è riuscita a prenderlo. Quando tornò a casa alle 10 di sera, sua figlia di cinque anni era ancora sveglia. Ha detto che lo stava aspettando perché lui aveva detto, mentre era stato arrestato, che sarebbe tornato subito.
Da allora ha iniziato a recitare nel ruolo di “poliziotti e ladri” e accusa suo padre di aver rubato cose, insistendo nel “rinchiuderlo” in salotto.
Ottenere aiuto
La famiglia Williams ha contattato gli avvocati della difesa, la maggior parte dei quali, hanno affermato, presumeva che il signor Williams fosse colpevole del crimine e ha indicato prezzi per circa 7.000 dollari per rappresentarlo. La signora Williams, direttrice del marketing immobiliare e food blogger, ha anche twittato alla American Civil Liberties Union del Michigan, che si è interessata immediatamente.
” Siamo stati attivi nel provare a suonare i campanelli d’allarme intorno al riconoscimento facciale, sia come una minaccia alla privacy quando funziona sia come una minaccia razzista per tutti quando non lo fa”, ha dichiarato Phil Mayor, avvocato dell’organizzazione. “Sappiamo che queste storie sono là fuori, ma sono difficili da ascoltare perché le persone di solito non si rendono conto di essere state vittime di una brutta ricerca di riconoscimento facciale”.
Due settimane dopo il suo arresto, il signor Williams ha preso un giorno di vacanza per comparire in un tribunale della contea di Wayne per un rinvio. Quando il caso è stato chiamato, il pubblico ministero ha deciso di archiviare, ma “senza pregiudizio”, il che significa che il signor Williams potrebbe essere successivamente accusato di nuovo.
Maria Miller, portavoce del pubblico ministero, ha dichiarato che un secondo testimone era stato nel negozio nel 2018 quando si è verificato il taccheggio, ma non gli è stato chiesto di guardare una scaletta fotografica. Se l’individuo effettua un’identificazione in futuro, ha affermato, l’ufficio deciderà se emettere addebiti.
Una portavoce della polizia di Detroit, Nicole Kirkwood, ha affermato che per ora il dipartimento “ha accettato la decisione del procuratore di archiviare il caso”. Ha anche detto che il dipartimento ha aggiornato la sua politica di riconoscimento facciale a luglio 2019 in modo che venga utilizzato solo per indagare su crimini violenti.
Il dipartimento, ha detto in un’altra dichiarazione, “non effettua arresti basati esclusivamente sul riconoscimento facciale. L’investigatore ha esaminato il video, ha intervistato testimoni, condotto una serie di fotografie. “
Mercoledì scorso, l’ACLU del Michigan ha presentato un reclamo alla città, chiedendo il licenziamento assoluto del caso, le scuse e la rimozione delle informazioni del signor Williams dai database criminali di Detroit.
Il dipartimento di polizia di Detroit “dovrebbe smettere di usare la tecnologia di riconoscimento facciale come strumento investigativo”, ha scritto Mayor nella denuncia, aggiungendo, “poiché i fatti del caso Williams dimostrano sia che la tecnologia è difettosa sia che gli investigatori di DPD non sono competenti nel fare uso di tale tecnologia “.
L’avvocato del signor Williams, Victoria Burton-Harris, ha dichiarato che il suo cliente è “fortunato”, nonostante ciò che ha passato.
“È vivo”, ha detto la signora Burton-Harris. “ È un uomo molto grande. La mia esperienza è stata, come avvocato difensore, quando gli ufficiali interagiscono con uomini molto grandi, neri molto grandi, agiscono immediatamente per paura. Non sanno come declassare una situazione. “
‘E’ stato umiliante ‘
Il signor Williams e sua moglie non hanno parlato con i vicini di quello che è successo. Si chiedono se debbano mettere in terapia le loro figlie. Il capo del signor Williams gli consigliò di non dirlo a nessuno al lavoro.
“Mia madre non lo sa. Non è qualcosa di cui sono orgoglioso ”, ha affermato Williams. “È umiliante.”
Da allora ha capito cosa stava facendo la sera del taccheggio. Stava tornando a casa dal lavoro e aveva pubblicato un video sul suo Instagram privato a causa di una canzone che amava, “We Are One” del 1983 di Maze e Frankie Beverly. I testi vanno:
Non capisco
Perché ci trattiamo in questo modo
Prendere tempo
Con i giochi sciocchi sciocchi che giochiamo
Aveva un alibi, se la polizia di Detroit lo avesse verificato.
