AI sta mandando le persone in prigione – e sta sbagliando
L’uso di dati storici per addestrare strumenti di valutazione del rischio potrebbe significare che le macchine stanno copiando gli errori del passato
A .I. potrebbe non avere un enorme impatto personale se il tuo pennello più frequente con gli algoritmi di apprendimento automatico è tramite il feed di notizie di Facebook o il posizionamento di ricerca di Google. Ma alla conferenza Data for Black Lives lo scorso fine settimana, tecnologi, esperti legali e attivisti della comunità hanno scattato le cose in prospettiva con una discussione sul sistema di giustizia penale americano. Lì, un algoritmo può determinare la traiettoria della tua vita.
Gli Stati Uniti imprigionano più persone di qualsiasi altro paese al mondo. Alla fine del 2016, quasi 2,2 milioni di adulti erano detenuti in carceri o prigioni e altri 4,5 milioni erano in altre strutture correzionali. In altre parole, 1 adulto su 38 americani era sotto una qualche forma di supervisione correzionale. L’incubo di questa situazione è uno dei pochi problemi che uniscono i politici su entrambi i lati del corridoio.
Sotto un’enorme pressione per ridurre il numero di prigioni senza rischiare un aumento della criminalità, le aule degli Stati Uniti si sono rivolte a strumenti automatizzati nel tentativo di mescolare gli imputati attraverso il sistema legale nel modo più efficiente e sicuro possibile. È qui che inizia la parte dell’intelligenza artificiale della nostra storia.
I dipartimenti di polizia utilizzano algoritmi predittivi per definire strategie su dove inviare i propri ranghi. Le forze dell’ordine utilizzano sistemi di riconoscimento facciale per aiutare a identificare i sospetti. Queste pratiche hanno ottenuto un meritato scrutinio se effettivamente migliorano la sicurezza o semplicemente perpetuano le disuguaglianze esistenti. I ricercatori e i difensori dei diritti civili , ad esempio, hanno ripetutamente dimostrato che i sistemi di riconoscimento facciale possono fallire in modo spettacolare, in particolare per gli individui dalla pelle scura, anche scambiando membri del Congresso per criminali condannati.
Ma lo strumento più controverso viene di gran lunga dopo che la polizia ha arrestato. Saluta gli algoritmi di valutazione del rischio criminale.
Gli strumenti di valutazione del rischio sono progettati per fare una cosa: prendere in considerazione i dettagli del profilo di un imputato e sputare un punteggio di recidiva: un numero singolo che stima la probabilità che lui o lei si ritorcerà contro. Un giudice quindi calcola il punteggio in una miriade di decisioni che possono determinare quale tipo di servizi di riabilitazione dovrebbero ricevere particolari imputati, se dovrebbero essere tenuti in carcere prima del processo e quanto gravi dovrebbero essere le loro condanne. Un punteggio basso apre la strada a un destino più gentile. Un punteggio elevato fa esattamente il contrario.
La logica per l’utilizzo di tali strumenti algoritmici è che se è possibile prevedere con precisione il comportamento criminale, è possibile allocare le risorse di conseguenza, sia per la riabilitazione che per le pene detentive. In teoria, riduce anche qualsiasi pregiudizio che influenza il processo, perché i giudici stanno prendendo decisioni sulla base di raccomandazioni basate sui dati e non sul loro intestino.
Potresti aver già individuato il problema. Gli strumenti di valutazione del rischio di oggi sono spesso guidati da algoritmi addestrati su dati di cronaca storica.
Come già detto in precedenza, gli algoritmi di apprendimento automatico utilizzano le statistiche per trovare schemi nei dati. Quindi, se dai dati storici sulla criminalità, sceglierà i modelli associati al crimine. Ma questi schemi sono correlazioni statistiche - mai del tutto simili a cause . Se un algoritmo ha trovato, ad esempio, che il reddito basso era correlato con un’elevata recidiva, non vi lascerebbe nessuno più saggio se il basso reddito abbia effettivamente causato il crimine. Ma questo è esattamente ciò che fanno gli strumenti di valutazione del rischio: trasformano le intuizioni correlative in meccanismi di punteggio causale.
Ora le popolazioni che storicamente sono state colpite in modo sproporzionato dalle forze dell’ordine – in particolare le comunità a basso reddito e minoritarie – sono a rischio di essere schiaffeggiate con punteggi di recidiva elevati. Di conseguenza, l’algoritmo potrebbe amplificare e perpetuare pregiudizi incorporati e generare ancora più dati distorti per alimentare un circolo vizioso. Poiché la maggior parte degli algoritmi di valutazione del rischio sono proprietari, è anche impossibile interrogare le loro decisioni o renderle responsabili.
Il dibattito su questi strumenti infuria ancora. Lo scorso luglio, oltre 100 diritti civili e organizzazioni basate sulla comunità, tra cui l’ACLU e la NAACP, hanno firmato una dichiarazione che esorta a non utilizzare la valutazione del rischio. Allo stesso tempo, sempre più giurisdizioni e stati, tra cui la California, si sono rivolti a loro in uno sforzo di grandine-Maria per sistemare le loro carceri e carceri sovraccariche.
La valutazione del rischio basata sui dati è un modo per disinfettare e legittimare i sistemi oppressivi, Marbre Stahly-Butts, direttore esecutivo di Law for Black Lives, ha dichiarato sul palco della conferenza , che è stata ospitata al MIT Media Lab. È un modo per distogliere l’attenzione dai problemi reali che interessano le comunità a basso reddito e minoritarie, come le scuole private e l’inadeguato accesso all’assistenza sanitaria.
“Non siamo rischi”, ha detto. “Siamo bisogni”.