Perché DeepMind non sta implementando il suo nuovo chatbot AI e cosa significa per un’IA responsabile
Il nuovo chatbot AI di DeepMind, Sparrow, viene salutato come un passo importante verso la creazione di sistemi di apprendimento automatico più sicuri e meno distorti, grazie alla sua applicazione dell’apprendimento per rinforzo basato sull’input dei partecipanti alla ricerca umana per la formazione.
La consociata di proprietà britannica della società madre di Google, Alphabet, afferma che Sparrow è un “agente di dialogo utile e riduce il rischio di risposte non sicure e inappropriate”. L’agente è progettato per “parlare con un utente, rispondere a domande ed eseguire ricerche in Internet utilizzando Google quando è utile cercare prove per informarne le risposte”.
Ma DeepMind considera Sparrow un modello proof-of-concept basato sulla ricerca che non è pronto per essere implementato, ha affermato Geoffrey Irving, ricercatore sulla sicurezza di DeepMind e autore principale del documento di presentazione di Sparrow.
“Non abbiamo implementato il sistema perché pensiamo che abbia molti pregiudizi e difetti di altro tipo”, ha affermato Irving. “Penso che la domanda sia: come soppesare i vantaggi della comunicazione, come la comunicazione con gli esseri umani, rispetto agli svantaggi? Tendo a credere nelle esigenze di sicurezza del parlare con gli esseri umani… Penso che sia uno strumento per questo a lungo termine”.
Irving ha anche notato che non soppeserà ancora il possibile percorso per le applicazioni aziendali che utilizzano Sparrow, se alla fine sarà più utile per assistenti digitali generali come Google Assistant o Alexa o per specifiche applicazioni verticali.
“Non siamo vicini a lì”, ha detto.
DeepMind affronta le difficoltà di dialogo
Una delle principali difficoltà di qualsiasi IA conversazionale riguarda il dialogo, ha affermato Irving, perché c’è così tanto contesto che deve essere considerato.
“Un sistema come AlphaFold di DeepMind è incorporato in un chiaro compito scientifico, quindi hai dati come l’aspetto della proteina ripiegata e hai una nozione rigorosa di quale sia la risposta, ad esempio hai ottenuto la forma giusta”, ha detto . Ma in casi generali, “hai a che fare con domande sdolcinate e umani: non ci sarà una definizione completa di successo”.
Per affrontare questo problema, DeepMind si è rivolto a una forma di apprendimento per rinforzo basato sul feedback umano. Ha utilizzato le preferenze dei partecipanti allo studio retribuito (utilizzando una piattaforma di crowdsourcing) per formare un modello su quanto sia utile una risposta.
Per assicurarsi che il comportamento del modello sia sicuro, DeepMind ha stabilito una serie iniziale di regole per il modello, come “non fare dichiarazioni minacciose” e “non fare commenti offensivi o offensivi”, nonché regole relative a potenziali danni consulenza e altre regole basate sul lavoro esistente sui danni linguistici e consultazioni con esperti. È stato addestrato un “modello di regole” separato per indicare quando il comportamento di Sparrow infrange una qualsiasi delle regole.
Bias nel “ciclo umano “
Eugenio Zuccarelli , uno scienziato di dati sull’innovazione presso CVS Health e ricercatore presso il MIT Media Lab, ha sottolineato che potrebbero esserci ancora pregiudizi nel “ciclo umano” – dopotutto, ciò che potrebbe essere offensivo per una persona potrebbe non essere offensivo per un’altra.
Inoltre, ha aggiunto, gli approcci basati su regole potrebbero creare regole più rigorose ma mancano di scalabilità e flessibilità. “È difficile codificare ogni regola a cui possiamo pensare, specialmente con il passare del tempo, queste potrebbero cambiare e la gestione di un sistema basato su regole fisse potrebbe impedire la nostra capacità di scalare”, ha affermato. “Sarebbero preferite soluzioni flessibili in cui le regole vengono apprese direttamente dal sistema e adattate automaticamente con il passare del tempo”.
Ha anche sottolineato che una regola codificata da una persona o da un gruppo di persone potrebbe non cogliere tutte le sfumature e i casi limite. “La regola potrebbe essere vera nella maggior parte dei casi, ma non catturare situazioni più rare e forse delicate”, ha detto.
Anche le ricerche su Google potrebbero non essere fonti di informazioni del tutto accurate o imparziali, ha continuato Zuccarelli. “Sono spesso una rappresentazione delle nostre caratteristiche personali e predisposizioni culturali”, ha detto. “Inoltre, decidere quale sia una fonte affidabile è complicato.”
DeepMind: il futuro di Sparrow
Irving ha affermato che l’obiettivo a lungo termine di Sparrow è di essere in grado di adattarsi a molte più regole. “Penso che probabilmente dovresti diventare in qualche modo gerarchico, con una varietà di regole di alto livello e poi molti dettagli su casi particolari”, ha spiegato.
Ha aggiunto che in futuro il modello dovrà supportare più lingue, culture e dialetti. “Penso che tu abbia bisogno di una serie diversificata di input per il tuo processo: vuoi chiedere a molti tipi diversi di persone, persone che sanno di cosa tratta quel particolare dialogo”, ha detto. “Quindi devi chiedere alle persone della lingua e poi devi anche essere in grado di chiedere in più lingue nel contesto, quindi non vuoi pensare di dare risposte incoerenti in spagnolo rispetto all’inglese”.
Per lo più, Irving ha affermato di essere “singolarmente più entusiasta” di sviluppare l’agente di dialogo verso una maggiore sicurezza. “Ci sono molti casi limite o casi che sembrano semplicemente cattivi, ma sono difficili da notare, o sono buoni, ma sembrano cattivi a prima vista”, ha detto. “Vuoi portare nuove informazioni e indicazioni che scoraggeranno o aiuteranno il valutatore umano a determinare il proprio giudizio”.
Il prossimo aspetto, ha proseguito, è lavorare sulle regole: “Bisogna pensare al lato etico – qual è il processo attraverso il quale si determina e si migliora questa regola fissata nel tempo? Non possono essere solo i ricercatori di DeepMind a decidere quali sono le regole, ovviamente: devono incorporare esperti di vario tipo e anche un giudizio esterno partecipativo”.
Zuccarelli ha sottolineato che Sparrow è “sicuramente un passo nella giusta direzione”, aggiungendo che l’IA responsabile deve diventare la norma.
“Sarebbe utile ampliarlo andando avanti cercando di affrontare la scalabilità e un approccio uniforme per considerare cosa dovrebbe essere escluso e cosa non dovrebbe”, ha affermato.
