L’IA può sfuggire al nostro controllo e distruggerci?
Il cofondatore di Skype Jaan Tallinn finanzia gli sforzi per tenere sotto controllo l’intelligenza artificiale superintelligente
“È iniziato tre miliardi e mezzo di anni fa in una pozza di fango, quando una molecola ne fece una copia e divenne così l’ultimo antenato di tutta la vita terrena. È iniziato quattro milioni di anni fa, quando i volumi del cervello hanno iniziato a salire rapidamente nella linea degli ominidi. Cinquantamila anni fa con l’ascesa dell’Homo sapiens. Diecimila anni fa con l’invenzione della civiltà. Cinquecento anni fa con l’invenzione della macchina da stampa. Cinquant’anni fa con l’invenzione del computer. Tra meno di trent’anni, finirà. ”
Jaan Tallinn si è imbattuto in queste parole nel 2007, in un saggio online intitolato “Staring into the Singularity”. L ‘”it” è la civiltà umana. L’umanità smetterebbe di esistere, predisse l’autore del saggio, con l’emergere della superintelligenza, o intelligenza artificiale che supera l’intelletto umano in una vasta gamma di aree.
Tallinn, un programmatore di computer nato in Estonia, ha un background in fisica e una propensione ad affrontare la vita come un grosso problema di programmazione. Nel 2003, ha co-fondato Skype, sviluppando il backend per l’app. Ha incassato le sue azioni dopo che eBay l’aveva acquistato due anni dopo, e ora cercava qualcosa da fare. “Staring into the Singularity” ha mischiato il codice del computer, la fisica quantistica e le citazioni di Calvin e Hobbes . Era agganciato.
Tallinn scoprì presto che l’autore del saggio, il teorico autodidatta Eliezer Yudkowsky, aveva scritto più di 1.000 articoli e post di blog, molti dei quali dedicati alla superintelligenza. Tallinn ha scritto un programma per raschiare gli scritti di Yudkowsky da Internet, ordinarli in ordine cronologico e formattarli per il suo iPhone. Quindi ha trascorso la maggior parte dell’anno leggendoli.
Il termine “intelligenza artificiale”, ovvero la simulazione dell’intelligenza nei computer o nelle macchine, fu coniato nel 1956, solo un decennio dopo la creazione dei primi computer digitali elettronici. La speranza per il campo era inizialmente alta, ma negli anni ’70, quando le prime previsioni non vennero fuori, iniziò un ” inverno AI “. Quando Tallinn trovò i saggi di Yudkowsky, l’IA stava subendo un rinascimento. Gli scienziati stavano sviluppando AI che eccellevano in aree specifiche, come vincere a scacchi, pulire il pavimento della cucina e riconoscere il linguaggio umano. (Nel 2007, la clamorosa vittoria a Jeopardy! Di IBM Watson mancava ancora a quattro anni, mentre il trionfo di AlphaGo di Go of DeepMindmancava otto anni.) Tali IA “stretti”, come vengono chiamati, hanno capacità sovrumane, ma solo nelle loro specifiche aree di dominio. Un’intelligenza artificiale che gioca a scacchi non può pulire il pavimento o portarti dal punto A al punto B. Ma un’intelligenza artificiale super intelligente, secondo Tallinn, combinerà una vasta gamma di abilità in un’entità. Più oscuramente, potrebbe anche utilizzare i dati generati dagli umani portatori di smartphone per eccellere nella manipolazione sociale.
Leggendo gli articoli di Yudkowsky, Tallinn si convinse che la superintelligenza potesse portare a un’esplosione o a un “breakout” dell’IA che poteva minacciare l’esistenza umana – che gli AI ultrasmart prendessero il nostro posto sulla scala evolutiva e ci dominassero nel modo in cui ora dominiamo le scimmie. O, peggio ancora, sterminarci.
Dopo aver finito l’ultimo dei saggi, Tallinn ha inviato a Yudkowsky un messaggio di posta elettronica, tutto in minuscolo, così come il suo stile. “Sono Jaan, uno degli ingegneri fondatori di Skype”, ha scritto. Alla fine arrivò al punto: “Sono d’accordo che … prepararsi all’evento dell’IA generale che supera l’intelligenza umana è uno dei compiti principali per l’umanità.” Voleva aiutare. Poco dopo, quando volò nella Bay Area per altri incontri, incontrò Yudkowsky a Panera Bread a Millbrae, in California, vicino a dove vive. Il loro incontro si protrasse per quattro ore. “In realtà, ha veramente capito i concetti e i dettagli sottostanti”, ricorda Yudkowsky. “Questo è molto raro.” In seguito, Tallinn scrisse un assegno di $ 5.000 al Singularity Institute for Artificial Intelligence, il non profit in cui Yudkowsky era un ricercatore.
L’incontro con Yudkowsky ha portato lo scopo di Tallinn, mandandolo in missione per salvarci dalle nostre stesse creazioni. Mentre si collegava alla questione con altri teorici e scienziati informatici, ha intrapreso una vita di viaggio, tenendo discorsi in tutto il mondo sulla minaccia rappresentata dalla superintelligenza. Per lo più, però, ha iniziato a finanziare la ricerca di metodi che potrebbero dare all’umanità una via d’uscita: la cosiddetta AI amichevole. Ciò non significa che una macchina o un agente sia particolarmente abile nel chiacchierare del tempo o che ricordi i nomi dei tuoi figli, anche se l’intelligenza artificiale super intelligente potrebbe essere in grado di fare entrambe queste cose. Non significa che sia motivato dall’altruismo o dall’amore. Un errore comune è assumere che l’IA abbia impulsi e valori umani. “Amichevole” significa qualcosa di molto più fondamentale:
Nove anni dopo l’incontro con Yudkowsky, Tallinn si unisce a me per un pasto nella sala da pranzo del Jesus College dell’Università di Cambridge. Lo spazio simile a una chiesa è ornato da vetrate, modanature dorate e dipinti ad olio di uomini in parrucche. Tallinn siede a un pesante tavolo di mogano, indossando l’abito casual della Silicon Valley: jeans neri, maglietta, scarpe da ginnastica di tela. Un soffitto a volta in legno si estende in alto sopra la sua scia di capelli grigio-biondi.
A 46 anni, Tallinn è in qualche modo il tuo imprenditore di libri di testo. Pensa che grazie ai progressi della scienza (e purché l’intelligenza artificiale non ci distrugga), vivrà per “molti, molti anni”. La sua preoccupazione per la superintelligenza è comune tra la sua coorte. La fondazione del co-fondatore di PayPal Peter Thiel ha donato $ 1,6 milioni al MIRI e nel 2015, il fondatore di Tesla Elon Musk ha donato $ 10 milioni al Future of Life Institute, un’organizzazione per la sicurezza tecnologica a Cambridge, nel Massachusetts. L’ingresso di Tallinn in questo mondo rarefatto è arrivato dietro la cortina di ferro negli anni ’80, quando il padre di un compagno di classe con un lavoro governativo ha dato ad alcuni bambini brillanti l’accesso ai computer mainframe. Dopo che l’Estonia è diventata indipendente, ha fondato una società di videogiochi. Oggi, Tallinn vive ancora nella sua capitale – che per stranezza di etimologia è anche chiamata Tallinn – con sua moglie e il più giovane dei suoi sei figli. Quando vuole incontrare i ricercatori, spesso li vola solo nella regione baltica.
La sua strategia di dare è metodica, come quasi tutto il resto. Distribuisce i suoi soldi tra 11 organizzazioni, ognuna impegnata in approcci diversi alla sicurezza dell’IA, nella speranza che si possa rimanere fedeli. Nel 2012, ha co-fondato il Cambridge Center for the Study of Existential Risk (CSER) con un esborso iniziale di quasi $ 200.000.
I rischi esistenziali – o rischi X, come li chiamano Tallinn – sono minacce alla sopravvivenza dell’umanità. Oltre all’intelligenza artificiale, i 20 ricercatori dispari del CSER studiano i cambiamenti climatici, la guerra nucleare e le armi biologiche. Ma a Tallinn, le altre discipline aiutano principalmente a legittimare la minaccia dell’intelligenza artificiale in fuga. “Quelli sono davvero solo droghe gateway”, mi dice. La preoccupazione per le minacce più ampiamente accettate, come il cambiamento climatico, potrebbe attirare le persone. L’orrore delle macchine super-intelligenti che conquistano il mondo, spera, le convincerà a rimanere. Ora è qui per una conferenza perché vuole che la comunità accademica prenda sul serio la sicurezza dell’IA.
I nostri compagni di ristorazione sono un assortimento casuale di frequentatori di conferenze, tra cui una donna di Hong Kong che studia robotica e un uomo britannico laureato a Cambridge negli anni ’60. L’uomo più anziano chiede a tutti al tavolo dove hanno frequentato l’università. (La risposta di Tallinn, l’Università estone di Tartu, non lo impressiona.) Quindi cerca di guidare la conversazione verso la notizia. Tallinn lo guarda senza espressione. “Non mi interessano i rischi a breve termine”, afferma.
Tallinn trasforma l’argomento nella minaccia della superintelligenza. Quando non parla con altri programmatori, passa per impostazione predefinita a metafore e ora corre nella sua suite di loro: l’IA avanzata può sbarazzarci di noi rapidamente come gli umani che abbattono gli alberi. La superintelligenza è per noi ciò che siamo per i gorilla. Inscritta in latino sopra la sua testa c’è una frase del Salmo 133: “Quanto è buono e quanto è piacevole per i fratelli dimorare insieme nell’unità”. Ma l’unità è lontana da ciò che Tallinn ha in mente in un futuro che contiene una superintelligenza canaglia.
Un’intelligenza artificiale avrebbe bisogno di un corpo per subentrare, dice l’uomo più anziano. Senza una sorta di involucro fisico, come potrebbe ottenere il controllo fisico? Tallinn ha un’altra metafora pronta: “Mettimi in un seminterrato con una connessione a Internet e potrei fare molti danni”, dice. Poi prende un boccone di risotto.
Che si tratti di Roomba o di uno dei suoi discendenti che dominano il mondo, un’intelligenza artificiale è guidata da risultati. I programmatori assegnano questi obiettivi, insieme a una serie di regole su come perseguirli. L’intelligenza artificiale avanzata non dovrebbe necessariamente avere l’obiettivo di dominare il mondo per raggiungerlo – potrebbe essere solo accidentale. E la storia della programmazione informatica è piena di piccoli errori che hanno provocato catastrofi. Nel 2010, ad esempio, un trader che lavora per la società di fondi comuni Waddell & Reed ha venduto migliaia di contratti futures. Il software dell’azienda ha escluso una variabile chiave dall’algoritmo che ha contribuito a eseguire il commercio. Il risultato è stato il “crash flash” statunitense da trilioni di dollari.
I ricercatori dei fondi di Tallinn ritengono che se la struttura della ricompensa di un’IA sovrumana non fosse adeguatamente programmata, anche obiettivi benigni potrebbero avere fini insidiosi. Un esempio ben noto, presentato dal filosofo Nick Bostrom dell’Università di Oxford nel suo libro Superintelligence, è un agente immaginario diretto a realizzare quante più graffette possibili. L’intelligenza artificiale potrebbe decidere che gli atomi nei corpi umani sarebbero meglio utilizzati come materia prima per loro.
Le opinioni di Tallinn hanno la loro parte di detrattori, anche tra la comunità di persone interessate alla sicurezza dell’IA. Alcuni obiettano che è troppo presto per preoccuparsi di limitare l’IA super-intelligente quando non l’abbiamo ancora capito. Altri affermano che concentrarsi su attori tecnologici canaglia distoglie l’attenzione dai problemi più urgenti che affliggono il campo, come il fatto che la maggior parte degli algoritmi sia progettata da uomini bianchi o basata su dati distorti verso di loro. “Rischiamo di costruire un mondo in cui non vogliamo vivere se non affrontiamo tali sfide nel breve termine”, afferma Terah Lyons, direttore esecutivo della Partnership on AI, un’organizzazione multistakeholder focalizzata su Sicurezza AI e altri problemi. (Numerosi istituti del dorso di Tallinn sono membri.) Ma, aggiunge,
Tallinn non è così convinta. Contrasta che l’intelligenza artificiale super-intelligente porta minacce uniche. In definitiva, spera che la comunità dell’IA possa seguire l’esempio del movimento antinucleare negli anni ’40. Sulla scia dei bombardamenti di Hiroshima e Nagasaki, gli scienziati si sono uniti per cercare di limitare ulteriori test nucleari. “Gli scienziati del Progetto Manhattan avrebbero potuto dire: ‘Guarda, stiamo facendo innovazione qui, e l’innovazione è sempre buona, quindi passiamo avanti'”, mi dice. “Ma erano più responsabili di così.”
Tallinn avverte che qualsiasi approccio alla sicurezza dell’IA sarà difficile da ottenere. Se un’intelligenza artificiale è sufficientemente intelligente, spiega, potrebbe avere una migliore comprensione dei vincoli rispetto ai suoi creatori. Immagina, dice, “svegliarsi in una prigione costruita da un gruppo di non vedenti di 5 anni”. Ecco come potrebbe essere un’intelligenza artificiale super-intelligente confinata dagli umani.
Il teorico Yudkowsky ha scoperto che ciò potrebbe essere vero quando, a partire dal 2002, ha condotto sessioni di chat in cui ha interpretato il ruolo di un’intelligenza artificiale racchiusa in una scatola, mentre una rotazione di altre persone ha interpretato il gatekeeper incaricato di mantenere l’IA Tre su cinque volte, Yudkowsky – un semplice mortale – afferma di aver convinto il guardiano a liberarlo. I suoi esperimenti non hanno scoraggiato i ricercatori dal tentare di progettare una scatola migliore, tuttavia.
I ricercatori che i fondi di Tallinn stanno perseguendo un’ampia varietà di strategie, da quelle pratiche a quelle apparentemente inverosimili. Alcuni teorizzano sulla boxe AI, sia fisicamente, costruendo una struttura reale per contenerla, o programmando limiti a ciò che può fare. Altri stanno cercando di insegnare all’intelligenza artificiale ad aderire ai valori umani. Alcuni stanno lavorando a un interruttore di spegnimento finale. Un ricercatore che sta approfondendo tutti e tre è il matematico e filosofo Stuart Armstrong presso il Future of Humanity Institute dell’Università di Oxford, che Tallinn definisce “il luogo più interessante dell’universo”. (Tallinn ha dato a FHI più di $ 310.000). Armstrong è uno dei pochi ricercatori al mondo che si concentrano a tempo pieno sulla sicurezza dell’IA.
Lo incontro per un caffè un pomeriggio in un bar di Oxford. Indossa una maglietta da rugby sbottonata sul colletto e ha l’aspetto di qualcuno che passa la vita dietro uno schermo, con un viso pallido incorniciato da una scia di capelli castani. Pepita le sue spiegazioni con una miscela disorientante di riferimenti di cultura popolare e matematica. Quando gli chiedo come potrebbe essere successo nella sicurezza dell’IA, mi dice: “Hai visto The Lego Movie ? È tutto fantastico. “
Un ceppo della ricerca di Armstrong esamina un approccio specifico alla boxe chiamato AI “oracolo”. In un articolo del 2012 con Nick Bostrom, che ha co-fondato FHI, ha proposto non solo di murare la superintelligenza in un serbatoio di contenimento – una struttura fisica – ma anche di limitarla a rispondere alle domande, come una tavola Ouija davvero intelligente. Anche con questi confini, un’intelligenza artificiale avrebbe un potere immenso di rimodellare il destino dell’umanità manipolando sottilmente i suoi interrogatori. Per ridurre la possibilità che ciò accada, Armstrong ha proposto limiti di tempo per le conversazioni o vietando domande che potrebbero rovesciare l’attuale ordine mondiale. Ha anche suggerito di fornire all’oracolo misure di sopravvivenza umana, come la Dow Jones Industrial Average o il numero di persone che attraversano la strada a Tokyo, e di dirle di mantenerle stabili.
In definitiva, secondo Armstrong, potrebbe essere necessario creare, come lo chiama in un documento, un “grande pulsante di spegnimento rosso”: o un interruttore fisico o un meccanismo programmato in un AI per spegnersi automaticamente in caso di un scoppiare. Ma progettare un tale interruttore è tutt’altro che facile. Non è solo un’intelligenza artificiale avanzata interessata all’autoconservazione che potrebbe impedire la pressione del pulsante. Potrebbe anche diventare curioso il motivo per cui gli umani hanno ideato il pulsante, attivarlo per vedere cosa succede e renderlo inutile. Nel 2013, un programmatore di nome Tom Murphy VII ha progettato un’intelligenza artificiale che potrebbe insegnarsi a giocare ai giochi della Nintendo Entertainment System . Determinato a non perdere a Tetris, l’IA ha semplicemente premuto pausa e ha mantenuto il gioco bloccato. “Davvero, l’unica mossa vincente è quella di non giocare”, ha osservato Murphy ironicamente, in un documento sulla sua creazione.
Perché la strategia abbia successo, un’intelligenza artificiale deve essere disinteressata al pulsante o, come dice Tallinn, “deve assegnare lo stesso valore al mondo in cui non esiste e al mondo in cui esiste”. Ma anche se i ricercatori possono raggiungere ciò, ci sono altre sfide. E se l’IA si fosse copiata diverse migliaia di volte su Internet?
L’approccio che la maggior parte eccita i ricercatori sta trovando un modo per far aderire l’IA ai valori umani, non programmandoli, ma insegnando agli IA ad apprenderli. In un mondo dominato dalla politica partigiana, le persone spesso si soffermano sui modi in cui i nostri principi differiscono. Ma, osserva Tallinn, gli umani hanno molto in comune: “Quasi tutti danno valore alla gamba destra. Non ci pensiamo. ”La speranza è che un’intelligenza artificiale possa essere insegnata a discernere regole così immutabili.
Nel processo, un’intelligenza artificiale dovrebbe imparare e apprezzare il lato meno che logico degli umani: che spesso diciamo una cosa e intendiamo un’altra, che alcune delle nostre preferenze sono in conflitto con altre e che le persone sono meno affidabili quando sono ubriache. Ma le tracce di dati che tutti lasciamo nelle app e nei social media potrebbero fornire una guida. Nonostante le sfide, crede Tallinn, dobbiamo provarci perché la posta in gioco è così alta. “Dobbiamo pensare qualche passo avanti”, dice. “Creare un’intelligenza artificiale che non condivide i nostri interessi sarebbe un terribile errore.”
L’ultima sera di Tallinn a Cambridge, mi unisco a lui e due ricercatori per cena in una steakhouse britannica. Un cameriere fa sedere il nostro gruppo in una cantina imbiancata con un’atmosfera simile a una caverna. Ci offre un menu di una pagina che offre tre diversi tipi di purè. Una coppia si siede al tavolo accanto a noi, e pochi minuti dopo chiede di trasferirsi altrove. “È troppo claustrofobico”, si lamenta la donna. Penso al commento di Tallinn sul danno che potrebbe causare se bloccato in uno scantinato senza nient’altro che una connessione a Internet. Eccoci, nella scatola. Come se fosse stato il momento giusto, gli uomini contemplano i modi per uscire.
Tra gli ospiti di Tallinn figurano l’ex ricercatore di genomica Seán Ó hÉigeartaigh, che è il direttore esecutivo del CSER, e Matthijs Maas, un ricercatore di politica di intelligenza artificiale presso l’Università di Copenaghen. Scherzano sull’idea di un film d’azione nerd intitolato Superintelligence vs. Blockchain! e discutere di un gioco online chiamato Universal Paperclips , che riff sullo scenario nel libro di Bostrom. L’esercizio prevede il clic ripetuto del mouse per creare graffette. Non è esattamente appariscente, ma dà un senso al perché una macchina potrebbe cercare modi più opportuni per produrre forniture per ufficio.
Alla fine, i discorsi si spostano verso domande più grandi, come spesso accade quando è presente Tallinn. L’obiettivo finale della ricerca sulla sicurezza dell’IA è quello di creare macchine che, come affermavano il filosofo e co-fondatore del CSER Huw Price, “eticamente oltre che cognitivamente sovrumane”. Altri hanno sollevato la domanda: se non vogliamo AI per dominarci, vogliamo dominarlo? In altre parole, l’IA ha diritti? Tallinn afferma che si tratta di un’antropomorfizzazione inutile. Presuppone che l’intelligenza sia uguale alla coscienza, un malinteso che infastidisce molti ricercatori dell’IA. All’inizio della giornata, il ricercatore del CSER Jose Hernandez-Orallo ha scherzato dicendo che quando si parla con i ricercatori dell’IA, la coscienza è “la parola C”. (“E” libero arbitrio “è la parola F”, ha aggiunto.)
In cantina ora, Tallinn afferma che la consapevolezza è al di là del punto: “Prendi l’esempio di un termostato. Nessuno direbbe che è cosciente. Ma è davvero scomodo confrontarsi con quell’agente se ci si trova in una stanza impostata a 30 gradi negativi. “
Ó hÉigeartaigh interviene. “Sarebbe bello preoccuparsi della coscienza”, dice, “ma non avremo il lusso di preoccuparci della coscienza se non avremo prima risolto le sfide tecniche di sicurezza”.
La gente si preoccupa eccessivamente di cosa sia un’intelligenza artificiale super intelligente, dice Tallinn. Quale forma prenderà? Dovremmo preoccuparci che una singola IA prenda il sopravvento o un loro esercito? “Dal nostro punto di vista, l’importante è ciò che fa l’IA”, sottolinea. E questo, a suo avviso, potrebbe essere ancora agli umani – per ora.