I programmi simili a quelli umani abusano della nostra empatia, anche gli ingegneri di Google non ne sono immuni
L’ingegnere di Google Blake Lemoine non stava parlando ufficialmente a nome dell’azienda quando ha affermato che il chatbot di Google LaMDA era senziente , ma l’idea sbagliata di Lemoine mostra i rischi di progettare sistemi in modi che convincano gli umani di vedere un’intelligenza reale e indipendente in un programma. Se crediamo che le macchine che generano testo siano senzienti, quali azioni potremmo intraprendere in base al testo che generano? Ha portato Lemoine a far trapelare trascrizioni segrete dal programma, con conseguente sua attuale sospensione dall’organizzazione.
Google si sta decisamente appoggiando a quel tipo di design, come si è visto nella demo del CEO di Alphabet Sundar Pichai dello stesso chatbot a Google I/O nel maggio 2021, dove ha spinto LaMDA a parlare con la voce di Plutone e condividere alcuni fatti divertenti sul ex pianeta. Poiché Google prevede di farne una tecnologia di base rivolta ai consumatori, il fatto che uno dei suoi stessi ingegneri sia stato ingannato evidenzia la necessità che questi sistemi siano trasparenti.
LaMDA (il suo nome sta per “modello linguistico per applicazioni di dialogo”) è un esempio di un modello linguistico molto grande, o un programma per computer creato per prevedere probabili sequenze di parole. Poiché è “addestrato” con enormi quantità di testo (per lo più in inglese), può produrre un testo inglese apparentemente coerente su un’ampia varietà di argomenti. Dico “apparentemente coerente” perché l’unico compito del computer è prevedere quale gruppo di lettere verrà dopo, più e più volte. Quelle sequenze diventano significative solo quando noi, come esseri umani, le leggiamo.
Il problema è che non possiamo aiutare noi stessi. Può sembrare che, quando comprendiamo il discorso di altre persone, stiamo semplicemente decodificando i messaggi. Infatti, la nostra capacità di comprendere gli atti comunicativi delle altre persone consiste fondamentalmente nell’immaginare il loro punto di vista e poi dedurre ciò che intendono comunicare dalle parole che hanno usato. Quindi, quando incontriamo un testo apparentemente coerente proveniente da una macchina, applichiamo questo stesso approccio per dargli un senso: immaginiamo riflessivamente che una mente abbia prodotto le parole con qualche intento comunicativo.
Joseph Weizenbaum ha notato questo effetto negli anni ’60 nella comprensione delle persone di Eliza, il suo programma progettato per imitare uno psicoterapeuta rogeriano. All’epoca, tuttavia, il funzionamento del programma era abbastanza semplice da consentire agli informatici di vedere esattamente come formava le sue risposte. Con LaMDA, gli ingegneri comprendono il software di formazione, ma il sistema addestrato include gli effetti dell’elaborazione di 1,5 trilioni di parole di testo. A quella scala, è impossibile verificare come il programma lo abbia rappresentato tutto. Questo fa sembrare che abbia “comportamenti emergenti” (capacità che non sono state programmate), che possono essere facilmente interpretate come prove di intelligenza artificiale da qualcuno che vuole crederci.
Questo è ciò che penso sia successo a Lemoine, che ha appreso quali suggerimenti avrebbero fatto produrre a LaMDA le stringhe di parole che interpreta come segni di sensibilità. Penso che sia anche quello che è successo a Blaise Agüera y Arcas (un ingegnere e vicepresidente di Google) che questa settimana ha scritto sull’Economist di sentirsi come se stesse ” parlando con qualcosa di intelligente ” nell’interazione con LaMDA. Google ha messo Lemoine in congedo amministrativo per i suoi commenti, ma non ha preso le distanze dalle dichiarazioni di Agüera y Arcas.
L’accesso a LaMDA per ora è limitato, ma la visione presentata da Pichai l’anno scorso includeva l’utilizzo di essa per sostituire la familiare interfaccia di ricerca sul Web , in pratica usandola come una sorta di concierge per la risposta alle domande. Come Chirag Shah ed io abbiamo scritto di recente , l’utilizzo di modelli linguistici al posto dei motori di ricerca danneggerà l’alfabetizzazione informativa. Un modello linguistico sintetizza stringhe di parole per fornire risposte in risposta alle domande, ma non può puntare a fonti di informazioni. Ciò significa che l’utente non può valutare queste origini. Allo stesso tempo, restituire risposte colloquiali ci incoraggerà a immaginare una mente dove non ce n’è, e una presumibilmente imbevuta della pretesa capacità di Google di ” organizzare le informazioni del mondo “.
Non sappiamo nemmeno cosa significhi “l’informazione del mondo” come indicizzata da LaMDA. Google non ci ha detto in dettaglio quali dati utilizza il programma. Sembra essere in gran parte scraping dal web, con un controllo di qualità limitato o nullo. Il sistema creerà risposte a partire da questi dati non documentati, pur essendo percepito come autorevole.
Possiamo già vedere il pericolo di ciò nella funzione ” frammenti in primo piano” di Google , che produce riepiloghi delle risposte dalle pagine Web con l’aiuto di un modello linguistico. Ha fornito risposte assurde, offensive e pericolose, come dire che la kannada è la lingua più brutta dell’India , che il primo “popolo” ad arrivare in America sono stati i coloni europei e, se qualcuno ha un attacco, a fare tutte le cose che il servizio sanitario dell’Università dello Utah avverte specificamente le persone di non farlo .
Ecco perché qui dobbiamo esigere trasparenza, soprattutto nel caso della tecnologia che utilizza interfacce simili a quelle umane come il linguaggio. Per qualsiasi sistema automatizzato, dobbiamo sapere per cosa è stato addestrato, quali dati di addestramento sono stati utilizzati, chi ha scelto quei dati e per quale scopo. Nelle parole dei ricercatori di intelligenza artificiale Timnit Gebru e Margaret Mitchell, imitare il comportamento umano è una “linea chiara” – un confine chiaro da non oltrepassare – nello sviluppo di software per computer. Trattiamo le interazioni con le cose che percepiamo come umane o simili a esseri umani in modo diverso. Con sistemi come LaMDA vediamo i loro potenziali pericoli e l’urgente necessità di progettare sistemi in modo da non abusare della nostra empatia o fiducia.
Emily M Bender è professoressa di linguistica all’Università di Washington e coautrice di numerosi articoli sui rischi di un massiccio dispiegamento del riconoscimento di modelli su vasta scala
Emily M Bender da theguardian.com
