Nel 2019, OpenAI ha rilasciato Safety Gym , una suite di strumenti per lo sviluppo di modelli di intelligenza artificiale che rispetta determinati “vincoli di sicurezza”. All’epoca, OpenAI ha affermato che Safety Gym potrebbe essere utilizzato per confrontare la sicurezza degli algoritmi e la misura in cui tali algoritmi evitano di commettere errori dannosi durante l’apprendimento.
Da allora, Safety Gym è stata utilizzata per misurare le prestazioni degli algoritmi proposti da OpenAI e dai ricercatori dell’Università della California, Berkeley e dell’Università di Toronto. Ma alcuni esperti si chiedono se gli “strumenti di sicurezza” dell’intelligenza artificiale siano efficaci quanto i loro creatori pretendono di essere o se rendano i sistemi di intelligenza artificiale più sicuri in qualche senso.
“La Safety Gym di OpenAI non sembra un ‘lavaggio dell’etica’ tanto quanto forse un pio desiderio”, Mike Cook, un ricercatore di intelligenza artificiale presso la Queen Mary University di Londra, ha detto a VentureBeat via e-mail. “Come nota [OpenAI], quello che stanno cercando di fare è stabilire regole per ciò che un sistema di intelligenza artificiale non può fare, e quindi lasciare che l’agente trovi qualsiasi soluzione entro i limiti rimanenti. Vedo alcuni problemi in questo, il primo è semplicemente che hai bisogno di molte regole.Cook fa l’esempio di dire a un’auto a guida autonoma di evitare collisioni. Ciò non precluderebbe all’auto di guidare sempre a due centimetri di distanza dalle altre auto, sottolinea, o di fare un numero qualsiasi di altre cose pericolose per ottimizzare il vincolo.
“Naturalmente, possiamo aggiungere più regole e più vincoli, ma senza sapere esattamente quale soluzione l’IA sta per trovare, ci sarà sempre la possibilità che sia indesiderabile per un motivo o per l’altro”, ha continuato Cook. “Dire a un’intelligenza artificiale di non fare qualcosa è simile a dire a un bambino di tre anni di non farlo”.
Via e-mail, un portavoce di OpenAI ha sottolineato che Safety Gym è solo un progetto tra i tanti che i suoi team stanno sviluppando per rendere le tecnologie AI “più sicure e più responsabili”.
“Abbiamo reso disponibile Safety Gym due anni fa in modo che i ricercatori che lavorano sull’apprendimento per rinforzo vincolato possano verificare se i nuovi metodi sono miglioramenti rispetto ai vecchi metodi – e molti ricercatori hanno utilizzato Safety Gym per questo scopo”, ha affermato il portavoce. “[Mentre] non esiste uno sviluppo attivo di Safety Gym poiché non c’è stato un bisogno sufficiente di ulteriore sviluppo … riteniamo che la ricerca condotta con Safety Gym possa essere utile in futuro in applicazioni in cui viene utilizzato l’apprendimento per rinforzo profondo e i problemi di sicurezza sono pertinente.”
Garantire la sicurezza dell’IA
Il gruppo di esperti ad alto livello sull’IA (HLEG) della Commissione europea e l’Istituto nazionale degli standard e della tecnologia degli Stati Uniti, tra gli altri, hanno tentato di creare standard per costruire un’IA affidabile e “sicuro”. In assenza di considerazioni sulla sicurezza, i sistemi di intelligenza artificiale hanno il potenziale per infliggere danni reali, ad esempio portando i finanziatori a rifiutare le persone di colore più spesso rispetto ai candidati bianchi.
Come OpenAI, DeepMind di Alphabet ha studiato un metodo per addestrare i sistemi di apprendimento automatico in modo sia “sicuro” che vincolato. È progettato per sistemi di apprendimento per rinforzo o intelligenza artificiale a cui viene progressivamente insegnato a svolgere compiti tramite un meccanismo di ricompense o punizioni. L’apprendimento del rinforzo potenzia le auto a guida autonoma, i robot abili, i sistemi di scoperta di farmaci e altro ancora. Ma poiché sono predisposti ad esplorare stati non familiari, i sistemi di apprendimento per rinforzo sono suscettibili al cosiddetto problema dell’esplorazione sicura, in cui si fissano su stati non sicuri (ad esempio, un robot che guida in un fosso).
DeepMind afferma che il suo metodo di formazione “sicuro” è applicabile ad ambienti (ad es. magazzini) in cui i sistemi (ad es. robot per lo smistamento dei pacchi) non sanno dove potrebbero essere gli stati non sicuri. Incoraggiando i sistemi a esplorare una serie di comportamenti attraverso situazioni ipotetiche, addestra i sistemi a prevedere ricompense e stati non sicuri in ambienti nuovi e non familiari.
“Per quanto ne sappiamo, [il nostro] è il primo algoritmo di modellazione della ricompensa che apprende in modo sicuro gli stati e le scale non sicuri per addestrare i modelli di ricompensa della rete neurale in ambienti con stati continui ad alta dimensionalità”, hanno scritto i coautori dello studio. “Finora, abbiamo dimostrato l’efficacia dell'[algoritmo] solo in domini simulati con dinamiche relativamente semplici. Una direzione per il lavoro futuro è testare [l’algoritmo] in domini 3D con fisica più realistica e altri agenti che agiscono nell’ambiente”.
Aziende come Mobileye e Nvidia di Intel hanno anche proposto modelli per garantire un processo decisionale AI sicuro e “logico”, in particolare nel regno delle auto a guida autonoma.
Nell’ottobre 2017, Mobileye ha rilasciato un framework chiamato Responsibility-Sensitive Safety (RSS), una “formula deterministica” con regole della strada “logicamente dimostrabili” volte a impedire ai veicoli a guida autonoma di causare incidenti. Mobileye afferma che RSS fornisce un approccio di buon senso al processo decisionale su strada che codifica le buone abitudini, come mantenere una distanza di sicurezza e dare la precedenza alle altre auto.
L’interpretazione di Nvidia del concetto è Safety Force Field, che monitora le azioni non sicure analizzando i dati dei sensori e facendo previsioni con l’obiettivo di ridurre al minimo i danni e il potenziale pericolo. Sfruttando i calcoli matematici che Nvidia afferma essere stati convalidati in scenari autostradali e urbani reali e sintetici, Safety Force Field può tenere conto sia dei vincoli di frenata che di sterzata, apparentemente consentendogli di identificare le anomalie derivanti da entrambi.
L’obiettivo di questi strumenti – la sicurezza – potrebbe sembrare buono e a posto. Ma come sottolinea Cook, ci sono molte domande sociologiche sulla “sicurezza”, così come su chi definisce cosa è sicuro. Sottolineando il problema, secondo FICO , il 65% dei dipendenti non è in grado di spiegare come vengono prese le decisioni o le previsioni sui modelli di intelligenza artificiale nelle loro aziende, tanto meno se sono “sicure”.
“Come società, noi – in qualche modo – concordiamo collettivamente su quali livelli di rischio siamo disposti a tollerare, ea volte li trascriviamo in legge. Prevediamo un certo numero di collisioni veicolari all’anno. Ma quando si tratta di intelligenza artificiale, potremmo aspettarci di elevare questi standard più in alto, poiché si tratta di sistemi su cui abbiamo il pieno controllo, a differenza delle persone”, ha affermato Cook. “[Una] domanda importante per me con i quadri di sicurezza è: a che punto le persone sarebbero disposte a dire: ‘Ok, non possiamo rendere sicura la tecnologia X, non dovremmo continuare.’ È fantastico mostrare che sei preoccupato per la sicurezza, ma penso che la preoccupazione debba derivare dall’accettazione che alcune cose potrebbero non essere possibili in un modo sicuro e accettabile per tutti.
Ad esempio, mentre i sistemi di guida autonoma e ADAS di oggi sono probabilmente più sicuri dei conducenti umani, continuano a commettere errori, come dimostrano i recenti problemi di Tesla . Cook ritiene che se le società di intelligenza artificiale fossero ritenute più legalmente e finanziariamente responsabili delle azioni dei loro prodotti, l’industria adotterebbe un approccio diverso per valutare la sicurezza dei loro sistemi, invece di cercare di “bendare i problemi dopo il fatto”.
“Non penso che la ricerca della sicurezza dell’IA sia negativa, ma sento che potrebbero esserci alcune verità scomode nascoste lì per le persone che credono che l’IA conquisterà ogni aspetto del nostro mondo”, ha detto Cook. “Comprendiamo che le persone commettono errori e abbiamo 10.000 anni di società e cultura che ci hanno aiutato a elaborare cosa fare quando qualcuno fa qualcosa di sbagliato … [ma] non siamo davvero preparati, come società, per l’IA che ci delude in questo modo o su questa scala”.
Nassim Parvin, professore associato di media digitali presso la Georgia Tech, concorda sul fatto che il discorso sulle auto a guida autonoma in particolare sia stato eccessivamente ottimista. Sostiene che l’entusiasmo sta oscurando la capacità dei sostenitori di vedere cosa c’è in gioco e che una preoccupazione “genuina” e “premurosa” per le vite perse in incidenti stradali potrebbe servire come punto di partenza per ripensare la mobilità.
“[La progettazione del sistema di intelligenza artificiale dovrebbe] trascendere i falsi compromessi binari e riconoscere i pregiudizi sistemici e le strutture di potere che rendono alcuni gruppi più vulnerabili di altri”, ha scritto . “Il termine ‘conseguenze indesiderate’ è una barriera, piuttosto che un facilitatore, di discussioni vitali sulla progettazione [del sistema] … L’eccessiva enfasi sull’intento preclude la considerazione della complessità dei sistemi sociali in modo tale da portare a soluzioni tecniche rapide. “
È improbabile che un singolo strumento sarà mai in grado di prevenire il processo decisionale non sicuro nei sistemi di intelligenza artificiale. Nel suo post sul blog che introduce Safety Gym, i ricercatori di OpenAI hanno riconosciuto che gli scenari più difficili nel toolkit erano probabilmente troppo impegnativi per le tecniche da risolvere in quel momento. A parte le innovazioni tecnologiche, è l’affermazione di ricercatori come Manoj Saxena, che presiede il Responsible AI Institute , una società di consulenza, che i proprietari di prodotti, i valutatori del rischio e gli utenti devono essere coinvolti in conversazioni sui potenziali difetti dell’IA in modo che possano essere creati processi che esporre, testare e mitigare i difetti.
“[Le parti interessate devono] garantire che i potenziali pregiudizi siano compresi e che i dati forniti per alimentare questi modelli siano rappresentativi delle varie popolazioni su cui l’IA avrà un impatto”, ha detto Saxena a VentureBeat in una recente intervista . “[Devono anche] investire di più per garantire che i membri che stanno progettando i sistemi siano diversi”.
