L’adozione diffusa dei sistemi di sorveglianza basati sull’Intelligenza Artificiale (AI) nelle scuole statunitensi, intesi a rafforzare la sicurezza e a prevenire tragedie legate alle armi da fuoco, ha recentemente messo in luce un inquietante paradosso: l’estrema sensibilità e l’occasionale inaffidabilità di questi sistemi possono portare a conseguenze traumatiche e ingiuste. Un incidente avvenuto alla Kenwood High School nella Contea di Baltimora, negli Stati Uniti, ha portato alla luce il rischio della falsa positività algoritmica, quando un adolescente è stato circondato e ammanettato dalla polizia armata per aver commesso, a detta dell’AI, l’unica “colpa” di mangiare un sacchetto di patatine.
Il protagonista di questa vicenda è Taki Allen, uno studente sedicenne che, in un giorno come tanti, stava semplicemente gustando un sacchetto di snack all’interno della sua scuola. Improvvisamente, l’ambiente è stato invaso da agenti di polizia armati. Il ragazzo è stato immobilizzato, costretto a inginocchiarsi con le mani dietro la schiena e infine ammanettato, prima di essere perquisito. Come lo studente ha raccontato, la perquisizione si è conclusa senza che fosse trovato nulla, salvo un innocuo sacchetto di patatine, precisamente Doritos, esattamente nel punto in cui era stato fermato.
Gli agenti hanno spiegato l’accaduto mostrando ad Allen una fotografia attivata dal sistema di rilevamento AI della scuola. L’immagine mostrava il ragazzo con il sacchetto, ma a causa dell’inquadratura, dell’angolo e forse della forma ingannevole dello snack, il sistema aveva erroneamente interpretato la scena come il possesso di un’arma da fuoco. Il ragazzo ha confermato che l’AI aveva rilevato le sue due mani e un dito, facendo sembrare l’oggetto come una pistola. Le autorità di contea hanno confermato l’intervento dopo aver ricevuto un allarme su un sospetto armato, precisando di aver proceduto all’ammanettamento senza però formalizzare un arresto, data l’assenza di armi.
L’episodio si inserisce in un contesto più ampio di crescente implementazione di sistemi di sicurezza avanzati nelle scuole americane. Le scuole superiori della Contea di Baltimora hanno adottato, lo scorso anno, sistemi di rilevamento AI che utilizzano le telecamere esistenti per identificare armi e inviare avvisi immediati alle squadre di sicurezza scolastica e alle forze dell’ordine.
La società sviluppatrice del software AI per il rilevamento di armi, Omnilert, ha commentato l’accaduto, sostenendo che, sebbene l’oggetto si sia rivelato essere uno snack, “la procedura ha funzionato come previsto”. La loro argomentazione si basa sull’idea che l’obiettivo primario sia prioritizzare la sicurezza e la consapevolezza attraverso una verifica rapida. In altre parole, è preferibile un falso allarme che inneschi una risposta rapida, piuttosto che il rischio di non rilevare un pericolo reale.
Tuttavia, l’impatto di un intervento così invasivo su un adolescente innocente non può essere ignorato. Il preside della scuola ha inviato una lettera ai genitori, riconoscendo l’angoscia e il turbamento vissuti dallo studente perquisito e da quelli che hanno assistito alla scena. Sono stati offerti supporti e consulenze psicologiche agli studenti coinvolti, a testimonianza del trauma causato dall’errore algoritmico.
Questo incidente solleva un dibattito cruciale sull’uso della tecnologia AI nella sicurezza pubblica: quanto siamo disposti a sacrificare in termini di privacy, serenità e diritti individuali in cambio di un aumento della sicurezza? L’episodio di Taki Allen è un monito tangibile sul fatto che i sistemi AI, per quanto sofisticati, sono soggetti a errori di interpretazione, e che le loro falsificazioni visive possono avere conseguenze drammatiche e profonde sulla vita delle persone, in particolare sui giovani in un ambiente scolastico che dovrebbe essere sicuro.