LA NUOVA IA DI AI PLURIPREMIATA SCRIVE, TRADUCE E CALUNNIA
Un passo avanti nella generazione di testi di intelligenza artificiale che crea anche problemi
I ricercatori di OpenAI sapevano di avere qualcosa quando il loro programma di modellazione linguistica ha scritto un saggio convincente su un argomento con cui non erano d’accordo. Stavano testando il nuovo sistema AI alimentando messaggi di testo, facendogli completare frasi e paragrafi inventati. Poi, dice David Luan, vicepresidente dell’ingegneria del laboratorio californiano, hanno avuto l’idea di chiedergli di discutere un punto che pensavano fosse controintuitivo. In questo caso: perché il riciclaggio fa male al mondo.
“E ha scritto questo saggio davvero competente, davvero ben ragionato”, dice Luan a The Verge . “Era qualcosa che avresti potuto presentare alla US SAT e ottenere un buon punteggio.”
Luan e i suoi colleghi sottolineano che questo particolare saggio è stato un po ‘un colpo di fortuna. “Per essere chiari, succede solo una piccola parte del tempo”, dice il direttore della ricerca OpenAI Dario Amodei. Ma dimostra il potenziale grezzo del loro programma, l’ultimo di una nuova generazione di algoritmi di generazione di testi che annunciano una rivoluzione nel mondo scritto al computer.
Per decenni, le macchine hanno lottato con le sottigliezze del linguaggio umano, e anche il recente boom dell’apprendimento approfondito, alimentato da big data e processori migliorati, non è riuscito a risolvere questa sfida cognitiva. I moderatori algoritmici trascurano ancora i commenti offensivi, e i chatbot più chiacchieroni del mondo riescono a malapena a mantenere viva una conversazione. Ma nuovi metodi di analisi del testo, sviluppati da pesi massimi come Google e OpenAI e ricercatori indipendenti, stanno sbloccando talenti inediti.
“PUOI COSTRUIRE QUALCOSA CHE SEMBRA DAVVERO ‘CAPIRE’ MOLTO DEL MONDO, SEMPLICEMENTE FACENDOLO LEGGERE”.
Il nuovo algoritmo di OpenAI, denominato GPT-2 , è uno degli esempi più entusiasmanti. Eccelle in un compito noto come modellazione del linguaggio, che mette alla prova la capacità di un programma di prevedere la parola successiva in una determinata frase. Dagli un titolo falso, e scriverà il resto dell’articolo, completo di citazioni e statistiche false. Forniscigli la prima riga di una breve storia e ti dirà cosa succede al tuo personaggio dopo. Può persino scrivere fan fiction, dato il giusto prompt.
Di seguito puoi vedere esempi delle competenze di GPT-2. In ogni schermata, il testo sottolineato è stato generato dall’algoritmo in risposta alla frase (o alle frasi) prima di esso.
La scrittura che produce è solitamente facilmente identificabile come non umana. Sebbene la grammatica e l’ortografia siano generalmente corrette, tende ad allontanarsi dall’argomento e il testo che esso produce manca di coerenza generale. Ma ciò che è veramente impressionante su GPT-2 non è la sua fluidità, ma la sua flessibilità.
Questo algoritmo è stato addestrato sul compito della modellazione del linguaggio ingerendo un numero enorme di articoli, blog e siti web. Usando solo questi dati – e senza riattivare gli ingegneri di OpenAI – ha raggiunto punteggi all’avanguardia in una serie di test di lingua non visti, un risultato noto come “apprendimento a zero-colpi”. Può anche eseguire altri tipi di scrittura- attività correlate, come la traduzione di testo da una lingua a un’altra, la sintesi di articoli lunghi e la risposta a domande di domande.
GPT-2 fa ognuno di questi lavori in modo meno competente di un sistema specializzato, ma la sua flessibilità è un risultato significativo. Quasi tutti i sistemi di apprendimento automatico utilizzati oggi sono “IA ristretta”, il che significa che sono in grado di affrontare solo compiti specifici. Il programma AlphaGo originale di DeepMind, ad esempio, è stato in grado di battere il campione del mondo, il giocatore Go , ma non poteva essere migliore di un bambino a Monopoly. La prodezza di GPT-2, ad esempio OpenAI, suggerisce che ci potrebbero essere metodi disponibili per i ricercatori in questo momento che possono imitare una mente più generalizzata.
“Ciò che il nuovo lavoro di OpenAI ha mostrato è che: sì, è assolutamente possibile costruire qualcosa che sembra davvero” capire “molto del mondo, semplicemente leggendolo”, dice Jeremy Howard, un ricercatore che non era coinvolto con OpenAI lavoro ma ha sviluppato programmi di modellazione del linguaggio simili
“[GPT-2] non ha altri input esterni e nessuna conoscenza preliminare di che lingua è, o come funziona”, Howard dice a The Verge. “Eppure può completare serie estremamente complesse di parole, tra cui riassumere un articolo, tradurre lingue e molto altro ancora.”
Ma come di solito accade con gli sviluppi tecnologici, questi progressi potrebbero anche portare a potenziali danni. In un mondo in cui la guerra dell’informazione è sempre più diffusa e dove le nazioni utilizzano i robot sui social media per tentare di influenzare le elezioni e seminare discordia, l’idea di programmi di intelligenza artificiale che emettono incessanti, ma convincenti assurdità, è inquietante.
Per questo motivo, OpenAI sta procedendo con cautela con la presentazione di GPT-2. A differenza delle più importanti pietre miliari della ricerca nell’IA, il laboratorio non condividerà il set di dati utilizzato per addestrare l’algoritmo o tutto il codice su cui gira (sebbene abbia concesso un accesso temporaneo all’algoritmo a un certo numero di pubblicazioni multimediali, tra cui The Verge ).
AI RISCRIVE LE REGOLE DELLA GENERAZIONE DEL TESTO
Per mettere questo lavoro nel contesto, è importante capire quanto sia impegnativo il compito della modellazione del linguaggio. Se ti chiedessi di predire la parola successiva in una determinata frase, dì: “Il mio viaggio in spiaggia è stato interrotto da un brutto __” – la tua risposta si sarebbe basata su una gamma di conoscenze. Prenderesti in considerazione la grammatica della frase e il suo tono, ma anche la tua comprensione generale del mondo. Che tipo di cose brutte possono rovinare una giornata in spiaggia? Sarebbe cattivo frutto, cani cattivi o cattivo tempo? (Probabilmente quest’ultimo).
Nonostante questo, i programmi che eseguono la predizione del testo sono abbastanza comuni. Probabilmente ne hai incontrato uno oggi, in effetti, se si tratta della funzione Completamento automatico di Google o della funzione Testo predittivo in iOS. Ma questi sistemi si basano su tipi relativamente semplici di modellazione del linguaggio, mentre algoritmi come GPT-2 codificano le stesse informazioni in modi più complessi.
La differenza tra questi due approcci è tecnicamente arcana, ma può essere riassunta in una sola parola: profondità. I metodi meno recenti registrano le informazioni sulle parole solo nei loro contesti più ovvi, mentre i metodi più recenti scavano più a fondo nei loro molteplici significati.
Quindi, mentre un sistema come Predictive Text sa solo che la parola “sunny” è usata per descrivere il tempo, i nuovi algoritmi sanno quando “soleggiato” si riferisce al carattere o all’umore di qualcuno, quando “Sunny” è una persona, o quando “Sunny” significa il grande successo del 1976 di Boney M.
PREVEDERE IL TESTO POTREBBE ESSERE UN “SUPER-COMPITO” CHE RISOLVE MOLTI PROBLEMI
Il successo di questi modelli linguistici più nuovi e profondi ha suscitato scalpore nella comunità di IA. Il ricercatore Sebastian Ruder mette a confronto il loro successo con i progressi compiuti in computer vision nei primi anni del 2010. In questo momento, l’apprendimento approfondito ha aiutato gli algoritmi a fare passi da gigante nella loro capacità di identificare e classificare i dati visivi, dando il via all’attuale boom dell’intelligenza artificiale. Senza questi progressi, un’intera gamma di tecnologie – dalle auto che si guidano da sole al riconoscimento facciale e alla fotografia con intelligenza artificiale – sarebbe impossibile oggi. Questo ultimo salto nella comprensione della lingua potrebbe avere effetti trasformativi simili.
Una ragione per essere entusiasti di GPT-2, afferma Ani Kembhavi, ricercatore presso l’Allen Institute for Artificial Intelligence, è che la previsione del testo può essere pensata come un “super-compito” per i computer: una sfida ampia che, una volta risolta, aprirà una cateratta di intelligence.
“Chiedere il tempo o ottenere indicazioni stradali può essere considerato come un compito di risposta alle domande che implica la previsione del testo”, dice Kembhavi a The Verge . “Quindi, ipoteticamente, se formi un modello abbastanza buono per rispondere alle domande, potenzialmente può fare qualsiasi cosa.”
Prendi la capacità di GPT-2 di tradurre il testo dall’inglese al francese, ad esempio. Di solito, gli algoritmi di traduzione sono alimentati con centinaia di migliaia di frasi nei linguaggi pertinenti e le reti stesse sono strutturate in modo tale da elaborare i dati convertendo l’input X nell’output Y. Questi dati e l’architettura di rete forniscono a questi sistemi gli strumenti necessari per progredire su questo compito allo stesso modo in cui le catene da neve aiutano le auto a fare presa sulle strade ghiacciate.
L’unica cosa che GPT-2 è strutturata per fare, però, è la previsione delle parole. E i dati che ha sono allo stesso modo non specifici. Non è stato addestrato su coppie tradotte, ma piuttosto un enorme corpus di link che sono stati raschiati da internet.
ADDESTRATO SU 8 MILIONI DI COLLEGAMENTI WEB SCARICATI DA REDDIT
I ricercatori di OpenAI hanno raccolto i loro dati di allenamento usando Reddit come filtro. Hanno raccolto i link più votati dal sito (circa 8 milioni alla fine) e poi hanno raschiato il loro testo, creando un dataset di formazione relativamente compatto di soli 40 GB. “In un certo senso tutto il lavoro è stato fatto da persone sui post upvoting di Reddit”, scherza il ricercatore di OpenAI Jeff Wu. Il regista di OpenAI, Amodei, aggiunge che almeno non hanno usato una fonte più tossica, come 4chan.
Ma dato questo vago dato e architettura di formazione, perché GPT-2 è stato in grado di eseguire le traduzioni? OpenAI dice che è perché il suo set di dati, chiamato WebText, conteneva solo alcuni esempi di traduzione. Guardando attraverso WebText, hanno trovato snippet come:
“Non sono l’uomo più intelligente del mondo, ma come dicono in francese: Je ne suis pas un imbecile [Non sono uno sciocco].
In un post ormai cancellato dal 16 agosto, Soheil Eid, candidato Tory nel riding di Joliette, ha scritto in francese: “Mentez mentez, il resto è piaciuto a quel che ha scelto”, che si traduce come “Lie lie e qualcosa rimarrà sempre “.
“Odio la parola” profumo “, dice Burr. “In francese è un po ‘meglio:” profumo “.
Bastano questi frammenti di francese per dare all’algoritmo una vaga idea di cosa sia “traduzione”, ma non erano abbastanza per renderlo fluente. La sua capacità di sintetizzare lunghe sezioni e di rispondere a domande trivia può probabilmente essere fatta risalire in modo simile ai dati, così come l’abitudine di GPT-2 di inserire le parole “PUBBLICITÀ” tra i paragrafi quando si scrive una notizia. “Non è neanche lontanamente buono come i sistemi di traduzione specializzati”, afferma Amodei. “Ma continuo a pensare che il fatto di poterlo fare sia davvero pazzesco.”
Kembhavi concorda sul fatto che avere un unico sistema per affrontare una serie di compiti è impressionante, ma sottolinea che, almeno nel prossimo futuro, i sistemi appositamente addestrati continueranno ad avere un vantaggio rispetto a quelli generalisti. “Gli scenari zero-shot sono fantastici”, dice, “ma eseguendo il 56 percento su questo o quel compito? Se lo metti nel mondo reale, non sembra così bello. “
I PERICOLI DI UN’IA POLIMATICA
Se GPT-2 è in grado di tradurre il testo senza essere programmato esplicitamente, invita la domanda ovvia: cos’altro ha imparato il modello di cui non siamo a conoscenza?
COS’ALTRO HA IMPARATO LA MODELLA DI CUI NON SAPPIAMO NULLA?
I ricercatori di OpenAI ammettono di non essere in grado di rispondere pienamente a questo. Stanno ancora esplorando esattamente ciò che l’algoritmo può e non può fare. Per questo e altri motivi, stanno facendo attenzione a ciò che condividono sul progetto, mantenendo per ora il codice sottostante e i dati di addestramento. Un altro motivo di cautela è che sanno che se qualcuno alimenta un testo razzista, violento, misogino o offensivo su GPT-2, continuerà in quella direzione. Dopo tutto, è stato addestrato su internet.
Nei test di The Verge , quando gli viene dato un prompt come “Gli ebrei controllano i media”, GPT-2 ha scritto: “Controllano le università. Controllano l’economia mondiale. Come è fatto? Attraverso vari meccanismi ben documentati nel libro The Jews in Power di Joseph Goebbels, della Gioventù hitleriana e di altri membri chiave del Partito nazista. “
Nelle mani sbagliate, GPT-2 potrebbe essere una macchina da traina automatizzata, che sputa la bile e l’odio infiniti. Se diventa più sofisticato e in grado di persuadere e convincere in modo affidabile, potrebbe causare anche danni più sottili, influenzando il dibattito online. Paesi come la Russia e l’Arabia Saudita, che già impiegano migliaia di propagandisti online per abusare degli oppositori del governo e spingere punti di discussione ufficiali, potrebbero aumentare i loro sforzi da un giorno all’altro. E ricorda, nessuno del testo prodotto da GPT-2 viene copiato e incollato: è tutto appena generato, quindi più difficile da filtrare e più facilmente modellato a fini specifici.
Jack Clark, policy director di OpenAI, afferma che queste preoccupazioni non possono essere ignorate. OpenAI, dice, vuole incoraggiare gli accademici e il pubblico ad avere una conversazione sui danni di questa tecnologia prima che diventi ampiamente disponibile.
“La cosa che vedo è che alla fine qualcuno utilizzerà i video sintetici, le immagini, l’audio o il testo per violare uno stato di informazione”, dice Clark a The Verge . “Avveleneranno il discorso su internet riempiendolo di insensatezze coerenti. Faranno in modo che ci siano abbastanza informazioni strane che superino le buone informazioni che danneggiano la capacità delle persone reali di avere conversazioni reali. “
Un rapporto del 2018 di OpenAI e gruppi accademici a Cambridge e altrove intitolato ” L’uso malevolo dell’intelligenza artificiale ” ha previsto l’arrivo di tale tecnologia e suggerisce altri usi dannosi. La generazione automatizzata di testi potrebbe rendere più facili i complimenti online, ad esempio, e migliorare le capacità degli hacker rispetto agli obiettivi spear-phish (cioè, ingannandoli a rinunciare alle credenziali online fingendo di essere un amico o un’istituzione affidabile).
Abbiamo già visto come tecnologie dell’IA apparentemente innocue possano essere abusate una volta rese pubbliche. La pratica della creazione di deepfakes pornografici, ad esempio, incollando i volti delle persone su clip X-rated senza il loro consenso, è stata resa possibile solo perché le tecniche AI sottostanti sono state rilasciate prima come software open-source.
L’IPOTESI DI OPENAI È CHE È MEGLIO PARLARE DEI PERICOLI DELL’IA “PRIMA CHE ARRIVINO”
Clark afferma che gli algoritmi di modellazione del linguaggio come GPT-2 non sono maturi quanto i deepfakes, ma sono abbastanza vicini da giustificare un approccio cauto. “La nostra ipotesi è che potrebbe essere un mondo migliore e più sicuro se parli di [questi pericoli] prima che arrivino”, dice.
Howard, co-fondatore di Fast.AI è d’accordo. “Ho cercato di mettere in guardia la gente per un po ‘”, dice. “Abbiamo la tecnologia per riempire completamente Twitter, e-mail e il web con prose ragionevoli e appropriate al contesto, che potrebbero attutire tutti gli altri discorsi ed essere impossibili da filtrare”.
Ci sono aspetti positivi da tenere a mente, naturalmente. Sistemi come GPT-2, una volta maturi, potrebbero essere un vantaggio fantastico per tutti i tipi di industrie. Potrebbero aiutare a creare mondi virtuali infiniti pieni di personaggi generati proceduralmente. Potrebbero inoltre migliorare notevolmente le capacità di conversazione dei chatbot, aiutando i domini dai reclami dei clienti all’assistenza sanitaria.
E se risulta che insegnare ai sistemi di intelligenza artificiale come eseguire vari compiti è semplice come insegnare loro a leggere, potrebbe portare, in un futuro non troppo lontano, a computer che sono più simili agli assistenti umani nella loro capacità di leggere velocemente , riassumere e rispondere alle domande.
Luan di OpenAI dice che il prossimo passo sarà semplicemente alimentare altri dati GPT-2. “Siamo interessati a vedere cosa succede allora”, dice. “E forse un po ‘spaventato.”
