Alcuni anni fa, un uomo del New Jersey è stato arrestato per taccheggio e ha trascorso dieci giorni in prigione. In realtà era a 30 miglia di distanza durante il periodo dell’incidente; il software di riconoscimento facciale della polizia lo ha identificato ingiustamente.
Le carenze razziali e di genere del riconoscimento facciale sono ben note. Spesso addestrata su set di dati principalmente di uomini bianchi, la tecnologia non riesce a riconoscere altri dati demografici con la stessa precisione. Questo è solo un esempio di design che esclude determinati dati demografici. Prendi in considerazione assistenti virtuali che non capiscono i dialetti locali, umanoidi robotici che rafforzano gli stereotipi di genere o strumenti medici che non funzionano altrettanto bene su tonalità della pelle più scure.
Londa Schiebinger , il John L. Hinds Professor of History of Science presso la Stanford University, è il direttore fondatore del Gendered Innovations in Science, Health & Medicine, Engineering, and Environment Project e fa parte del team di docenti per Innovations in Inclusive Design .
In questa intervista, Schiebinger discute l’importanza del design inclusivo nell’intelligenza artificiale (AI), gli strumenti che ha sviluppato per aiutare a raggiungere un design inclusivo e le sue raccomandazioni per rendere il design inclusivo una parte del processo di sviluppo del prodotto.
Il tuo corso esplora una varietà di concetti e principi nel design inclusivo. Cosa significa il termine design inclusivo ?
Londa Schiebinger: È un design che funziona per tutti in tutta la società. Se il design inclusivo è l’obiettivo, allora gli strumenti intersezionali sono ciò che ti porta lì. Abbiamo sviluppato carte di design intersezionale che coprono una varietà di fattori sociali come sessualità, posizione geografica, razza ed etnia e stato socioeconomico (le carte hanno vinto notevoli riconoscimenti ai Core77 Design Awards 2022). Questi sono i fattori in cui vediamo manifestarsi disuguaglianze sociali, specialmente negli Stati Uniti e nell’Europa occidentale. Queste schede aiutano i team di progettazione a vedere quali popolazioni potrebbero non aver considerato, quindi non progettano per una persona astratta e inesistente. I fattori sociali nelle nostre carte non sono affatto un elenco esaustivo, quindi includiamo anche schede vuote e invitiamo le persone a creare i propri fattori. L’obiettivo del design inclusivo è allontanarsi dalla progettazione per il maschio predefinito di taglia media e considerare l’intera gamma di utenti.
Perché il design inclusivo è importante per lo sviluppo del prodotto nell’IA? Quali sono i rischi dello sviluppo di tecnologie di intelligenza artificiale che non sono inclusive?
Schiebinger:Se non hai un design inclusivo, riaffermerai, amplificherai e rafforzerai i pregiudizi inconsci. Prendi i robot infermieristici, come esempio. L’obiettivo del robot infermieristico è convincere i pazienti a rispettare le istruzioni sanitarie, sia che si tratti di fare esercizi o di assumere farmaci. L’interazione uomo-robot ci mostra che le persone interagiscono di più con i robot umanoidi e sappiamo anche che le infermiere sono per il 90% donne nella vita reale. Questo significa che otteniamo una migliore compliance da parte dei pazienti se femminilizziamo i robot infermieristici? Forse, ma se lo fai, inasprisci anche lo stereotipo secondo cui l’assistenza infermieristica è una professione femminile e elimini gli uomini che sono interessati all’assistenza infermieristica. La femminilizzazione dei robot infermieristici esacerba questi stereotipi. Un’idea interessante promuove la neutralità del robot in cui non si antropomorfizza il robot e lo si tiene fuori dallo spazio umano.
In sostanza, vogliamo che i designer pensino alle norme sociali che sono coinvolte nelle relazioni umane e mettano in discussione tali norme. Ciò li aiuterà a creare prodotti che incarnano una nuova configurazione delle norme sociali, generando quello che mi piace chiamare un circolo virtuoso: un processo di cambiamento culturale più equo, sostenibile e inclusivo.
Quale prodotto tecnologico fa un cattivo lavoro di essere inclusivo?
Schiebinger: Il pulsossimetro, sviluppato nel 1972, era così importante durante i primi giorni di COVID come prima linea di difesa nei pronto soccorso. Ma abbiamo appreso nel 1989 che non fornisce letture accurate della saturazione di ossigeno per le persone con la pelle più scura. Se un paziente non desatura all’88% dalla lettura del pulsossimetro, potrebbe non ricevere l’ossigeno salvavita di cui ha bisogno. E anche se ottengono ossigeno supplementare, le compagnie assicurative non pagano a meno che tu non raggiunga una certa lettura. Sappiamo da decenni di questo guasto del prodotto, ma in qualche modo non è diventata una priorità da risolvere. Spero che l’esperienza della pandemia dia la priorità a questa importante soluzione, perché la mancanza di inclusività nella tecnologia sta causando fallimenti nel settore sanitario.
Abbiamo anche usato gli assistenti virtuali come esempio chiave nella nostra classe ormai da diversi anni, perché sappiamo che gli assistenti vocali che per impostazione predefinita hanno un personaggio femminile sono soggetti a molestie e perché rafforzano ancora una volta lo stereotipo secondo cui gli assistenti sono donne. C’è anche un’enorme sfida con gli assistenti vocali che fraintendono il vernacolo afroamericano o le persone che parlano inglese con un accento. Per essere più inclusivi, gli assistenti vocali devono lavorare per persone con background educativi diversi, provenienti da diverse parti del paese e da culture diverse.
Qual è un esempio di un prodotto AI con un design eccezionale e inclusivo?
Schiebinger: L’esempio positivo che mi piace dare è il riconoscimento facciale. Gli scienziati informatici Joy Buolamwini e Timnit Gebru hanno scritto un articolo intitolato ” Sfumature di genere “, in cui hanno scoperto che i volti delle donne non erano riconosciuti così come i volti degli uomini e le persone con la pelle più scura non erano facilmente riconoscibili come quelle con la pelle più chiara.
Ma poi hanno fatto l’analisi intersezionale e hanno scoperto che le donne nere non venivano viste il 35% delle volte. Usando quella che chiamo “innovazione intersezionale ” , hanno creato un nuovo set di dati utilizzando membri parlamentari dell’Africa e dell’Europa e hanno costruito un database eccellente e più inclusivo per neri, bianchi, uomini e donne. Ma notiamo che c’è ancora spazio per migliorare; il database potrebbe essere ampliato per includere asiatici, indigeni delle Americhe e dell’Australia e possibilmente persone non binarie o transgender.
Per una progettazione inclusiva, dobbiamo essere in grado di manipolare il database. Se stai eseguendo l’elaborazione del linguaggio naturale e utilizzando il corpus della lingua inglese trovato online, otterrai i pregiudizi che gli esseri umani hanno inserito in quei dati. Ci sono database che possiamo controllare e far funzionare per tutti, ma per i database che non possiamo controllare, abbiamo bisogno di altri strumenti, quindi l’algoritmo non restituisce risultati distorti.
Nel corso, gli studenti vengono introdotti per la prima volta ai principi di progettazione inclusiva prima di essere incaricati di progettare e realizzare prototipi delle proprie tecnologie inclusive. Quali sono alcuni dei prototipi interessanti nell’area dell’IA che hai visto uscire dalla tua classe?
Schiebinger: Durante la nostra unità sui robot sociali, un gruppo di studenti ha creato un robot chiamato ReCyclops che risolve 1) il non sapere quale plastica dovrebbe finire in ogni cestino e 2) il lavoro spiacevole dei lavoratori che smistano il riciclaggio per determinare cosa è accettabile .
ReCyclops può leggere l’etichetta su un articolo o ascoltare l’input vocale di un utente per determinare in quale cestino va inserito l’articolo. I robot sono collocati in posizioni geograficamente logiche e accessibili, attaccati ai contenitori dei rifiuti esistenti, al fine di servire tutti gli utenti all’interno di una comunità.
In che modo consiglieresti ai progettisti e agli sviluppatori professionisti dell’IA di considerare fattori di progettazione inclusivi durante tutto il processo di sviluppo del prodotto?
Schiebinger: Penso che dovremmo prima fare una valutazione del ciclo di vita della sostenibilità per garantire che la potenza di calcolo richiesta non contribuisca al cambiamento climatico. Successivamente, dobbiamo fare una valutazione del ciclo di vita sociale che esamini le condizioni di lavoro per le persone nella catena di approvvigionamento. Infine, abbiamo bisogno di una valutazione inclusiva del ciclo di vita per assicurarci che il prodotto funzioni per tutti. Se rallentiamo e non rompiamo le cose, possiamo farlo.
Con queste valutazioni, possiamo utilizzare la progettazione intersezionale per creare tecnologie inclusive che migliorano l’equità sociale e la sostenibilità ambientale.
Prabha Kannan è uno scrittore collaboratore dello Stanford Institute for Human-Centered AI.
Prabha Kannan, Stanford Institute for Human-Centered AI
