I ricercatori di IA discutono sull’etica della condivisione di programmi potenzialmente dannosi
Il laboratorio non profit OpenAI ha nascosto le sue ultime ricerche, ma è stato criticato da altri sul campo
Una recente decisione del laboratorio di ricerca OpenAI di limitare il rilascio di un nuovo algoritmo ha causato polemiche nella comunità di AI.
L’organizzazione senza scopo di lucro ha detto di non condividere la versione completa del programma, un algoritmo di generazione di testo denominato GPT-2 , a causa delle preoccupazioni sulle “applicazioni dannose”. Ma molti ricercatori di IA hanno criticato la decisione, accusando il laboratorio di esagerare il pericolo poste dal lavoro e inavvertitamente alimentano “l’isteria di massa” sull’IA nel processo.
I RICERCATORI HANNO SCHERZATO SUL FATTO CHE IL LORO ULTIMO FANTASTICO LAVORO ERA TROPPO PERICOLOSO DA CONDIVIDERE
Il dibattito è stato ampio e talvolta controverso. Si è persino trasformato in un meme tra i ricercatori di intelligenza artificiale, che hanno scherzato sul fatto che hanno avuto una straordinaria svolta in laboratorio, ma i risultati erano troppo pericolosi da condividere al momento. Ancora più importante, ha messo in evidenza una serie di sfide per la comunità nel suo complesso, compresa la difficoltà di comunicare nuove tecnologie con la stampa e il problema di bilanciare l’apertura con la divulgazione responsabile.
Il programma al centro di tutto questo clamore è relativamente semplice. GPT-2 è l’ultimo esempio di una nuova classe di algoritmi di generazione di testo , che dovrebbero avere un grande impatto in futuro. Quando alimenta un prompt come un titolo o la prima riga di una storia, GPT-2 produce un testo che corrisponde all’ingresso. I risultati sono vari ma spesso sorprendentemente coerenti. Le notizie fabbricate, ad esempio, imitano da vicino il tono e la struttura di articoli reali, completi di statistiche inventate e citazioni tratte da fonti inventate.
È, sotto molti aspetti, uno strumento divertente con il potere di deliziare e sorprendere. Ma non ha nulla a che vedere con la capacità degli esseri umani di comprendere e produrre testo. Genera testo ma non lo capisce. OpenAI e gli esperti esterni concordano sul fatto che non si tratta di una svolta di per sé , ma piuttosto di un esempio brillantemente eseguito di ciò che può fare una generazione di testi all’avanguardia.
Le ragioni di OpenAI per limitare il rilascio includono il potenziale per programmi come GPT-2 di creare “articoli di notizie fuorvianti” e di automatizzare lo spam e gli abusi. Per questo motivo, mentre hanno pubblicato un articolo che descrive il lavoro con una versione “molto più piccola” del programma, i ricercatori hanno nascosto i dati di addestramento e il modello completo. Nel solito mondo open-by-default della ricerca AI, in cui codice, dati e modelli sono condivisi e discussi ampiamente, la mossa – e il ragionamento di OpenAI – ha attirato molta attenzione.
Alcuni esempi di GPT-2 che rispondono ai messaggi di testo:
VISTA A GRIGLIA
1 di 6
GLI ARGOMENTI CONTRO LA DECISIONE DI OPENAI
La critica ha ruotato intorno a pochi punti chiave. Innanzitutto, rifiutando il modello, OpenAI impedisce a altri ricercatori di replicare il loro lavoro. In secondo luogo, il modello in sé non rappresenta una grande minaccia come afferma OpenAI. E terzo, OpenAI non ha fatto abbastanza per contrastare la tendenza dei media a fare pubblicità e distorcere questo tipo di notizie sull’IA.
Il primo punto è piuttosto semplice. Sebbene l’apprendimento automatico sia un campo relativamente democratico, con ricercatori solitari in grado di offrire scoperte sorprendenti , negli ultimi anni c’è stata un’enfasi crescente sulla ricerca ad alta intensità di risorse. Algoritmi come GPT-2 vengono creati utilizzando enormi quantità di potenza di calcolo e grandi set di dati, entrambi costosi. L’argomento sostiene che se laboratori ben finanziati come OpenAI non condividono i loro risultati, impoveriscono il resto della comunità.
GLI ACCADEMICI NON POSSONO COMPETERE SE I GRANDI LABORATORI TRATTENGONO IL LORO LAVORO
“Mette in grave svantaggio gli accademici”, ha dichiarato a The Verge Anima Anandkumar, professore di intelligenza artificiale alla Caltech e direttore della ricerca sull’apprendimento automatico di Nvidia . In un post sul blog , Anandkumar ha detto che OpenAI stava effettivamente sfruttando la sua influenza per “rendere la ricerca ML più chiusa e inaccessibile.” (E in un tweet che rispondeva all’annuncio di OpenAI, era ancora più sincera, definendo la decisione “BS dannoso”).
Altri nel campo riecheggiano questa critica, sostenendo che, nel caso di ricerche potenzialmente dannose, la pubblicazione aperta è ancora più importante, poiché altri ricercatori possono cercare difetti nel lavoro e inventare contromisure.
Parlando con The Verge , la ricercatrice OpenAI Miles Brundage, che lavora sull’impatto sociale dell’intelligenza artificiale, ha affermato che il laboratorio è “acutamente consapevole” di questo tipo di compromessi. Ha detto via e-mail che il laboratorio stava valutando modi per “alleviare” il problema dell’accesso limitato, invitando più persone a testare il modello, ad esempio.
Anandkumar, che ha sottolineato che stava parlando a titolo personale, ha anche affermato che le motivazioni di OpenAI per la sospensione del modello non si sono sommate. Sebbene la potenza di calcolo necessaria per ricreare il lavoro sia fuori dalla portata della maggior parte degli accademici, sarebbe relativamente facile per qualsiasi gruppo determinato o ben finanziato ottenere. Ciò includerebbe coloro che potrebbero trarre vantaggio dall’abuso dell’algoritmo, come gli stati nazione che organizzano campagne di propaganda online.
La minaccia dell’intelligenza artificiale utilizzata per automatizzare la creazione di spam e disinformazione è una vera minaccia, afferma Anandkumar, “ma non credo che limitare l’accesso a questo particolare modello possa risolvere il problema”.
Delip Rao, un esperto di generazione di testi che ha lavorato su progetti per rilevare notizie false e disinformazione utilizzando l’intelligenza artificiale, concorda sul fatto che le minacce descritte da OpenAI siano esagerate. Egli osserva che, con notizie false, ad esempio, la qualità del testo è raramente una barriera, poiché gran parte di questo tipo di disinformazione viene effettuata copiando e incollando parti di altre storie. “Non hai bisogno di un fantastico apprendimento automatico per questo”, dice Rao. E quando si tratta di eludere i filtri antispam, dice, la maggior parte dei sistemi si basa su una serie di segnali, inclusi cose come l’indirizzo IP dell’utente e le attività recenti, non solo per verificare se lo spammer sta scrivendo in modo convincente.
“LE PAROLE ‘TROPPO PERICOLOSE’ SONO STATE CASUALMENTE BUTTATE QUI.”
“Sono consapevole che modelli come [GPT-2] potrebbero essere utilizzati per scopi non salutisti, ma si potrebbe dire di qualsiasi modello simile che sia stato rilasciato finora”, dice Rao, che ha anche scritto un post sul blog sull’argomento. “Le parole ‘troppo pericolose’ sono state casualmente buttate qui senza molto pensiero o sperimentazione. Non credo che [OpenAI] abbia passato abbastanza tempo a dimostrare che era effettivamente pericoloso. “
Brundage dice che il laboratorio si è consultato con esperti esterni per valutare i rischi, ma ha sottolineato che OpenAI stava facendo un caso più ampio per i pericoli di sistemi di generazione di testi sempre più sofisticati, non solo per GPT-2 in particolare.
“Comprendiamo perché alcuni hanno visto il nostro annuncio esagerato, anche se è importante distinguere ciò che abbiamo detto da ciò che altri hanno detto”, ha scritto. “Abbiamo cercato di evidenziare sia le attuali capacità di GPT-2 che i rischi di una più ampia classe di sistemi e dovremmo essere più precisi su questa distinzione.”
Brundage osserva inoltre che OpenAI vuole sbagliare sul lato della cautela, e afferma che rilasciando i modelli completi sarebbe una mossa “irreversibile”. In un’intervista con The Verge la scorsa settimana , il responsabile delle politiche di OpenAI ha confrontato la tecnologia con gli algoritmi di scambio di volti utilizzati per creare deepfakes . Questi sono stati rilasciati come progetti open-source e sono stati presto travolti da individui di tutto il mondo per i propri usi, compresa la creazione di pornografia non consensuale.
LA DIFFICOLTÀ DI HYPE MEDIA AI
Mentre i dibattiti sui pericoli dei modelli di generazione del testo e dell’accesso accademico non hanno una conclusione scontata, il problema di comunicare nuove tecnologie con il pubblico è ancora più spinoso, affermano i ricercatori.
L’APPROCCIO DI OPENAI HA ALIMENTATO UNA COPERTURA DISINFORMATA?
I critici dell’approccio di OpenAI hanno notato che l’angolo “troppo pericoloso per il rilascio” è diventato il punto focale di molta copertura, fornendo un titolo succoso che oscurava l’effettiva minaccia posta dalla tecnologia. Titoli come “L’OpenAI di Elon Musk costruisce un’intelligenza artificiale così potente da essere tenuta chiusa per il bene dell’umanità” erano comuni. (L’associazione di Elon Musk con OpenAI è un orrore di vecchia data per il laboratorio, ha co-fondato l’organizzazione nel 2015 ma, a quanto si dice, ha avuto poco coinvolgimento diretto e si è dimesso dal suo consiglio l’anno scorso.)
Sebbene essere frustrati dalla cattiva copertura del proprio campo non è certo una nuova esperienza per gli scienziati, la posta in gioco è particolarmente importante per quanto riguarda la ricerca sull’IA. Ciò è dovuto in parte al fatto che le concezioni pubbliche sull’intelligenza artificiale sono così fuori linea rispetto alle capacità effettive, ma è anche perché il campo è alle prese con problemi come il finanziamento e la regolamentazione. Se il pubblico generale diventa indebitamente preoccupato per l’intelligenza artificiale, potrebbe portare a una ricerca meno significativa?
Gran parte della copertura di GPT-2 si è concentrata su OpenAI trattenendo il modello completo.
Alla luce di ciò, alcuni ricercatori affermano che la strategia di OpenAI per GPT-2 ha contribuito attivamente a narrative sbagliate. Inoltre incolpano i giornalisti di non aver inserito il lavoro nel suo giusto contesto. “Sento che la stampa era pronta con la narrativa OpenAI che li ha impostati, e non penso che sia un modo molto oggettivo per creare rapporti”, dice Rao. Ha anche notato che la natura del lavoro sottoposto a embargo (dove i giornalisti scrivono le loro storie in anticipo e li pubblica allo stesso tempo) ha contribuito alla distorsione .
Anandkumar dice: “Ho una profonda ammirazione per le persone che lavorano [ad OpenAI] e questo è un lavoro interessante ma non garantisce questo tipo di attenzione dei media […] Non è salutare per la comunità e non è salutare per il pubblico.”
OpenAI dice che ha fatto del suo meglio per combattere preventivamente questa campagna pubblicitaria, sottolineando i limiti del sistema per i giornalisti e sperando che trovassero i difetti stessi durante la sperimentazione del programma. “Sappiamo che a volte il modello si rompe, e lo abbiamo detto ai giornalisti, e speravamo che la loro esperienza avrebbe portato loro a notare i luoghi in cui si rompono”, ha detto Brundage. “Questo è accaduto, ma forse non nella stessa misura che abbiamo immaginato.”
ALTRI LABORATORI DI INTELLIGENZA ARTIFICIALE SONO ALLE PRESE CON PROBLEMI SIMILI
Sebbene le decisioni di OpenAI di limitare il rilascio di GPT-2 fossero non convenzionali, alcuni laboratori sono andati oltre. Il Machine Intelligence Research Institute (MIRI), ad esempio, che si concentra sulla mitigazione delle minacce dai sistemi di intelligenza artificiale, è diventato “non descritto per default” a partire dallo scorso novembre e non pubblicherà ricerche a meno che non ci sia una “decisione esplicita” a fare così.
Il laboratorio ha esposto una serie di ragioni per questo in un lungo post sul blog , ma ha detto che voleva concentrarsi su “deconfusione” – cioè, rischiando di chiarire i termini del dibattito sull’IA prima di impegnarsi più ampiamente sull’argomento. Cita approvando un membro del consiglio di amministrazione che ha descritto MIRI come “seduto in modo recluso da solo, mentre lascia per lo più questioni di politica, sensibilizzazione e quanta influenza abbia la comunità di sicurezza dell’intelligenza artificiale verso gli altri”.
Questo è un approccio molto diverso da OpenAI, che, pur limitando il rilascio del modello, ha certamente fatto del suo meglio per impegnarsi in domande più ampie.
Brundage afferma che, nonostante le critiche, OpenAI pensa di aver “ampiamente” preso la decisione giusta, e che probabilmente ci sarebbero stati casi simili in futuro in cui “le preoccupazioni riguardo la sicurezza o la sicurezza limitano la nostra pubblicazione di codice / modelli / dati”. Alla fine, il laboratorio pensa che sia meglio avere la discussione prima che le minacce emergano più tardi, anche se i critici non sono d’accordo con i loro metodi per farlo.
Aggiunge: “Ci sono così tante parti mobili in questa decisione che la consideriamo principalmente come: abbiamo fatto qualcosa che aiuti OpenAI a gestire meglio questa classe di problemi in futuro? La risposta è sì. Man mano che i modelli diventano sempre più potenti, sempre più organizzazioni dovranno pensare a questi problemi “.