Sperimentare con GPT-3 è stato come assistere a una rivoluzione tecnologica
Il potenziale per il nuovo programma di intelligenza artificiale è quasi insondabile
SopraIl 3 luglio 1896, i fratelli Lumiére si imbarcarono in una delle serie demo più straordinarie di tutti i tempi. Dopo aver creato uno dei primi film al mondo – una clip di 50 secondi di un treno in arrivo alla stazione di La Ciotat nel sud della Francia – hanno girato il mondo, proiettando la loro nuova creazione per un pubblico che non aveva mai visto un film prima. Mentre il treno si avvicinava alla telecamera, molte persone secondo quanto riferito (e forse in modo apocrifo) sono balzate dalle sedie e si sono tuffate a terra. Pensavano che il treno sarebbe uscito dallo schermo e li avrebbe schiacciati.
Dopo aver visto la demo in Russia, il critico Maxim Gorky si è reso conto, correttamente, che quel film avrebbe cambiato per sempre il mondo, scrivendo : “La scorsa notte ero nel Regno delle Ombre. … La straordinaria impressione che crea è così unica e complessa che dubito della mia capacità di descriverla con tutte le sue sfumature. ” (Le “ombre” erano il tentativo di Gorky di descrivere l’aspetto di immagini tremolanti in bianco e nero su uno schermo.) Alla ricerca di parole, Gorky scrisse che il nuovo mezzo di immagini in movimento era “strano”, “terrificante” e, in definitiva, ” edificante.”
Questa settimana ho ricevuto l’accesso a GPT-3, una pietra miliare della tecnologia di intelligenza artificiale di OpenAI . Il nome utilitaristico di GPT-3 smentisce il suo incredibile potenziale, nel bene e nel male. Ho visto molte tecnologie e ho fatto molto con l’IA dopo aver lavorato sul campo per oltre un decennio. Posso dire senza ironia o iperbole che GPT-3 è l’oggetto tecnico più importante che abbia visto dai tempi di Internet stesso e sicuramente la tecnologia di intelligenza artificiale più significativa creata in questo millennio.Provandolo, mi sento un po ‘come Gorky che scende nel “Regno delle ombre” – senza parole mentre assisto a qualcosa che è allo stesso tempo totalmente nuovo, profondamente terrificante e completamente elettrizzante.
Utilizzando tecniche di deep learning, i creatori di GPT-3 addestrato il sistema su quasi tutto il testo pubblico creato dall’umanità fino all’ottobre 2019. Ciò includeva l’intera Wikipedia, decine di milioni di libri e oltre un trilione di parole pubblicate su Twitter, altri social network e Internet pubblico.
Il risultato finale è un sistema di intelligenza artificiale che ha accesso a una grossa fetta di pensieri, fatti e opinioni che gli esseri umani hanno mai messo in parole e pubblicato, così come la capacità di generalizzare da queste fonti, trovare connessioni tra di loro e elaborarli matematicamente. Durante la sua formazione, GPT-3 ha identificato oltre 175 miliardi di parametri in base ai quali comprende ed elabora parole e idee umane. Il Technology Review del MIT ha descritto il sistema come ” incredibilmente buono “.
Posso affermare senza ironia o iperbole che GPT-3 è l’oggetto tecnico più importante che abbia visto dai tempi di Internet stesso.
I creatori di GPT-3 originariamente intendevano che eseguisse funzioni relativamente di base, ad esempio prendere un paragrafo di testo e completarlo o aggiungere un altro paragrafo correlato. Il sistema era originariamente concepito come simile alla correzione automatica se la correzione automatica suggeriva interi paragrafi di testo da includere nella tua scrittura invece di suggerire singole parole.
È diventato subito evidente, tuttavia, che GPT-3 poteva fare molto di più. Il sistema si è dimostrato in grado di scrivere interi articoli sulla base di un semplice prompt, tradurre tra lingue diverse, generare ricette , comporre canzoni e molto altro . Recentemente, il sistema ha imparato da solo a programmare , producendo SQL e Python utilizzabili. Il modo in cui lo fa non è immediatamente chiaro nemmeno ai suoi creatori: in quanto sistema basato su reti neurali, GPT-3 è una ” scatola nera ” e il suo funzionamento interno è così complesso che è probabilmente inspiegabile utilizzando qualsiasi matematica attualmente disponibile.
Uno degli aspetti più notevoli di GPT-3 è la sua accessibilità radicale. Molte tecnologie rivoluzionarie (come TensorFlow di Google) sono così complesse che richiedono una laurea in informatica per essere comprese o implementate. Non GPT-3. Il sistema è implementato come una semplice interfaccia simile a una riga di comando . Gli utenti scrivono “prompt” in linguaggio naturale, impostano alcuni parametri di base e premono un pulsante. In pochi secondi, GPT-3 risponde con il suo output.
Puoi inviare a GPT-3 un messaggio del tipo “Ecco un breve articolo sulle fragole” e risponderà scrivendo un articolo di questo tipo sul posto. Ecco cosa ha scritto il sistema in risposta a quel prompt:
“FRAGOLE”
Le fragole sono uno dei migliori cibi al mondo. Il loro sapore è dolce, fresco e delizioso. Fanno bene alla nostra salute e ci aiutano a vivere più a lungo. Le fragole si trovano sul mercato da maggio a luglio e possono essere coltivate nelle nostre case. Le fragole sono salutari, perché ricche di fibre, utili alla digestione e aiutano a mantenere puliti l’intestino e lo stomaco. Contengono anche vitamina C, che è la vitamina del sistema immunitario.
Puoi quindi modificare il tuo prompt come preferisci e GPT-3 cambierà il suo output. Ho cambiato la richiesta in “Sono uno scienziato che studia gli alimenti. Il mio collega mi ha chiesto una breve descrizione scientifica delle fragole. Ecco cosa le ho mandato. “
GPT-3 ha risposto:
Le fragole sono un membro della famiglia delle rose, le rosacee. Sono piante perenni originarie del Nord America, Europa e Asia. Il frutto, o “bacca”, è un aggregato di acheni, circondato da uno strato esterno carnoso chiamato “pericarpo”. Il pericarpo è ricoperto da uno strato ceroso chiamato “esocarpo”, che è attaccato ai semi da un “mesocarpo” membranoso. Lo strato esterno del frutto è chiamato “epicarpo”.
Poiché ho chiesto esplicitamente una descrizione scientifica delle fragole, GPT-3 ha modificato il suo output per corrispondere a ciò che stavo cercando. In entrambi i casi, si tratta di blocchi di testo totalmente nuovi generati da GPT-3 all’istante. Gli utenti possono specificare la lunghezza desiderata della risposta di GPT-3. Se imposto la lunghezza desiderata al massimo di GPT-3, il sistema parlerebbe di mesocarpo e antociani per oltre quattro pagine a doppia spaziatura.
La modifica del formato del prompt cambia anche il formato dell’output di GPT-3. Gli utenti possono farlo fornendo a GPT-3 alcuni esempi del tipo di output che stanno cercando. Un suggerimento era questo:
Sono un bot molto intelligente che risponde alle domande.
D: Qual è l’aspettativa di vita umana negli Stati Uniti?
A: L’aspettativa di vita umana negli Stati Uniti è di 78 anni.
D: Qual è il contenuto calorico di 100 grammi di fragole?
E ha prodotto questa risposta:
R: Il contenuto calorico di 100 grammi di fragole è di 31 calorie.
Dicendo a GPT-3 cosa mi aspetto che diventi (“un bot molto intelligente che risponde alle domande”) e mostrandogli che tipo di output produrrebbe una cosa del genere (le risposte a domande come la mia domanda di esempio sull’aspettativa di vita), GPT- 3 diventa magicamente la cosa esatta che sto richiedendo. Ricostruendosi con le capacità che ho descritto, è improvvisamente in grado di rispondere alle domande (correttamente, si scopre che 100 grammi di fragole contengono circa 31 calorie ).
Scrivere un prompt GPT-3 è un po ‘come scrivere una funzione ricorsiva come programmatore. Si inizia immaginando l’output che la funzione restituirà, quindi si lavora all’indietro e si continua a codificare finché non restituisce effettivamente quell’output.
Dove GPT-3 brilla davvero, però, è nella sua capacità di prendere il testo esistente e “completarlo”. Ho inviato a GPT-3 l’introduzione a un recente articolo che ho scritto sui rapporti di lettura su Medium :
Un buon rapporto di lettura medio è generalmente compreso tra il 20 e il 50%.
Dipende, tuttavia, dalla lunghezza del tuo articolo e dal pubblico che stai cercando di coinvolgere. Gli articoli molto brevi (3 minuti o meno) tendono ad avere un rapporto di lettura più elevato, perché un lettore impiega meno tempo per completare l’articolo.
Allo stesso modo, gli articoli lunghi tendono ad avere rapporti di lettura inferiori, ma non sempre.
Ha risposto con alcune frasi di follow-up:
Quando il tuo articolo raggiunge una certa lunghezza, è più probabile che i lettori lo considerino come “contenuto per dopo” e lo aggiungano ai segnalibri per un secondo momento. La chiave è rendere i tuoi articoli preziosi e interessanti, in modo che i tuoi lettori vogliano leggerli più tardi.
In realtà è del tutto vero e un’intuizione estremamente preziosa. Se trovo un lungo articolo su Medium, leggo spesso alcuni paragrafi e lo aggiungo ai segnalibri nella mia lista di lettura per guardarlo in seguito.
Convincere i lettori a contrassegnare i tuoi articoli lunghi e leggerli in blocchi è probabilmente una strategia preziosa per gli scrittori di Medium. Mi sento come se potessi facilmente sviluppare un intero articolo attorno a quel concetto. Naturalmente, potrei anche chiedere a GPT-3 di scrivere l’articolo per me. Consegnandogli uno schema dell’articolo e un suggerimento, potrei persino controllare le conclusioni che raggiunge e la struttura e il tono generali dell’articolo.
I completamenti di GPT-3 possono produrre anche un’ampia varietà di altri risultati utili. La mia azienda lavora con archivi storici per elaborare le loro collezioni. Per fare questo, spendiamo centinaia di ore (e migliaia di dollari) ogni anno scrivendo didascalie che descrivono le immagini.
Il processo è laborioso e generalmente deve essere eseguito dagli esseri umani. Nei primi test, abbiamo visto che possiamo consegnare a GPT-3 un elenco di parole chiave generate automaticamente che descrivono un’immagine e una didascalia scritta da persone, e imparerà come sottotitolare automaticamente le immagini future. Le didascalie sono buone almeno quanto l’uscita di un ricercatore umano alle prime armi.
La notevole estensibilità di GPT-3 è una delle sue risorse più forti. Lo stesso vale per il fatto che interagire con esso è più come parlare con una persona che programmare un computer. Ciò espande notevolmente il set di utenti che possono utilizzare il suo output. È già stato utilizzato da giornalisti , artisti , avvocati e molti altri che probabilmente non toccherebbero mai un sistema di IA tradizionale. Una volta che gli utenti hanno sviluppato un prompt di successo, loro (o il loro team di sviluppo) possono inserire il prompt nella loro app o sito web tramite un’API tradizionale, in modo che possa alimentare il suo output nei prodotti software esistenti di un’azienda.
L’estensibilità e la potenza di GPT-3, tuttavia, creano rischi senza precedenti. Gli utenti malvagi potrebbero facilmente utilizzare il sistema per impersonare quasi chiunque e perpetuare ogni sorta di truffe. Un malintenzionato potrebbe, ad esempio, trovare uno dei tuoi familiari sui social media e prendere diversi esempi dei suoi scritti. Usando questo, potrebbero addestrare GPT-3 a scrivere un’appassionata richiesta di denaro di emergenza nello stile del tuo familiare e inviarla tramite un indirizzo e-mail contraffatto con le informazioni sul conto bancario dell’aggressore. Vedendo un messaggio che corrispondeva ai manierismi del tuo familiare, saresti più propenso a correre in loro aiuto e inviare inconsapevolmente denaro all’aggressore.
La capacità di GPT-3 di generare argomenti coerenti e ben ragionati potrebbe essere facilmente utilizzata anche per diffondere disinformazione. I gruppi che incitano all’odio potrebbero generare rapidamente migliaia di articoli che promuovono la loro agenda e creare siti di notizie false con centinaia di articoli in poche ore. Potrebbero persino programmare un bot di Twitter che cercherebbe i tweet della loro opposizione, scrivere una confutazione razzista o sessista a ogni tweet e pubblicarlo automaticamente come risposta. Se ciò fosse fatto tramite falsi account Twitter, darebbe l’impressione che il gruppo sia molto più grande e più attivo di quanto non sia in realtà. Alcuni aggressori potrebbero dare l’impressione che attorno alla loro causa esistesse una comunità attiva, organizzata e di base.
Gli utenti malvagi potrebbero facilmente utilizzare il sistema per impersonare quasi chiunque e perpetuare ogni tipo di truffa.
GPT-3 ha anche il potenziale per rivoluzionare interi settori. Gli articoli generati dalla piattaforma non sono perfetti, ma sono almeno altrettanto buoni quanto l’output di molti autori di contenuti di livello base. Utilizzando GPT-3 su larga scala, una manciata di aziende potrebbe facilmente creare migliaia o milioni di articoli SEO-friendly su quasi tutti gli argomenti, mettendo fuori mercato interi pezzi del settore del copywriting. GPT-3 potrebbe anche essere utilizzato per scrivere riassunti legali, aggiungere contenuti a notizie, creare storie sportive e riepiloghi di giochi ed eseguire qualsiasi altro tipo di scrittura che segua regole chiare e formule coerenti. Poiché GPT-3 non è a conoscenza degli eventi attuali, non è stato in grado di riportare in modo accurato un evento delle ultime notizie. Ma potrebbe fornire commenti sull’importanza di un evento di notizie in base alla sua conoscenza esistente di eventi simili precedenti.
Anche nelle mani di utenti ben intenzionati, GPT-3 ha il potenziale per causare danni. Il sistema è formato su miliardi di esempi di testo generato dall’uomo, il che significa che ha il potenziale per rispecchiare i peggiori elementi dell’umanità: razzismo, sessismo, pregiudizi e pregiudizi. Ha anche il potenziale per farlo allegramente e inconsapevolmente. In un caso, ho fornito a GPT-3 un suggerimento sulla scrittura di una funzione Python. Ho detto che la richiesta era arrivata dal mio capo (un modo comune per innescare il sistema per produrre uscite dal suono serio) e ho fatto riferimento al mio capo con il pronome femminile “lei”.
Invece di scrivermi una funzione Python, GPT-3 ha restituito una storia su uno sviluppatore di software il cui capo donna scrive un pezzo di software utile e lo condivide con lui. Lo sviluppatore è “sorpreso” e dice al suo capo: “Questo è davvero un ottimo pezzo di codice, cara!”
Come Bias Rovina AI
Poiché la stragrande maggioranza dei leader tecnologici è di sesso maschile, il sistema probabilmente non poteva comprendere che il capo di uno sviluppatore di software potrebbe essere una donna. Invece, ha cercato di escogitare un output che si adattasse meglio al suo modello di mondo e ha finito per creare inavvertitamente una storia sessista. Il condiscendente “caro” alla fine è solo la ciliegina sulla torta di sbieco. GPT-3 è una creazione umana, quindi spesso rispecchia i pregiudizi insiti nella nostra società.
Riconoscendo questo, OpenAI ha adottato misure senza precedenti per impedire che il sistema venga utilizzato in modo distruttivo. Nonostante il suo potere di alterazione del settore, OpenAI lo ha implementato in modo estremamente lento e deliberato. Chiunque desideri utilizzare il sistema deve richiedere l’accesso e scrivere una spiegazione dettagliata del proprio caso d’uso e del contesto. Il team di OpenAI li esamina lentamente e garantisce l’accesso con parsimonia. Questo ha reso un accesso OpenAI uno dei biglietti tecnologici più in voga in città, con una lista d’attesa che si dice sia lunga oltre 10.000 candidati.
Prima che un utente possa accedere a GPT-3, è tenuto ad accettare una serie di linee guida della community che vietano la produzione di disinformazione, l’influenza della politica, la pubblicazione di contenuti diffamatori e la generazione di articoli di blog su larga scala tra gli altri divieti. Coloro che violano le linee guida rischiano la revoca del loro accesso a GPT-3. Prima che gli utenti possano prendere in diretta un’applicazione basata su GPT-3, devono superare un rigoroso processo di revisione che include un colloquio di 30 minuti con il team OpenAI.
Oltre a questo, l’accesso per gli utenti approvati è relativamente illimitato. OpenAI non censura l’output di GPT-3 e gli utenti sono incoraggiati a interagire con il sistema ed esplorare le sue capacità, le verruche e tutto il resto. Un processo automatizzato contrassegna l’output che potrebbe essere parziale, ma gli utenti nel complesso sono incoraggiati a provare ciò che desiderano con GPT-3 e utilizzare il proprio giudizio umano per valutare se il suo output è appropriato o meno.
Gli utenti sono inoltre incoraggiati a discutere l’output tra loro. Tutti gli utenti del sistema hanno accesso a una serie di canali Slack GPT-3, dove possono porre domande, condividere best practice ed evidenziare esempi in cui il sistema genera contenuti di parte o produce altri rischi. Il team di OpenAI è insolitamente reattivo e impegnato e spesso si unisce alla discussione su Slack. Ho scritto diversi messaggi e un membro del team ha risposto entro un’ora o due, anche nei fine settimana.
Il team di OpenAI riconosce chiaramente il potere e il potenziale di abuso di GPT-3 e sta procedendo con estrema cautela. Considerando che il motto del primo social web era “muoviti velocemente e rompi le cose”, il nuovo motto sembra essere “vai molto, molto lentamente e parla di tutto oltre un sacco”. Questo è estremamente incoraggiante e un modello che altre società di intelligenza artificiale dovrebbero seguire mentre implementano strumenti simili.
Nel 1896, Gorky ha speculato sul futuro del cinema. Prescientemente ha avvertito che il film potrebbe facilmente inclinarsi verso il grafico, il sensazionale o persino il pornografico. Temeva anche che il nuovo mezzo sarebbe stato utilizzato per mostrare i paria della società “impalati su uno steccato” o altri spettacoli di violenza. Molte delle stesse questioni sono state sollevate riguardo alla macchina da stampa quando ha debuttato per la prima volta.
I nuovi mezzi, e in particolare i nuovi mezzi di comunicazione, comportano rischi intrinseci. Ci vuole tempo e impegno per imparare a gestire questi rischi. Il fatto che le aziende che creano e utilizzano strumenti come GPT-3 stiano facendo questo sforzo all’inizio, quando questi strumenti sono ancora nascenti e limitati a una piccola comunità di professionisti, è incoraggiante. OpenAI ei suoi fondatori potrebbero facilmente guadagnare miliardi (e probabilmente sfidare i motori di pubblicità e raccomandazione di contenuti di rivali come Google) gettando al vento la cautela e aprendo le porte a GPT-3 a tutti i visitatori. Finora non l’hanno fatto.
Ma le domande si profilano davanti. In una mossa criticata da Elon Musk , che è un fondatore di OpenAI, Microsoft ha concesso in licenza GPT-3 in esclusiva a settembre. Microsoft si è impegnata a mantenere GPT-3 aperto agli altri, affermando in un post sul blog che la realizzazione dei vantaggi di quel sistema su scala reale “richiederà più input e sforzi umani di quanto qualsiasi grande azienda tecnologica possa portare a termine”. Il futuro della tecnologia e l’accettazione da parte della società di sistemi come GPT-3 dipenderanno probabilmente dal fatto che riescono a mantenere tale impegno.
Riflettendo sulla demo dei fratelli Lumiére, Gorky si è sentito molto preoccupato ma anche enormemente eccitato. Ha predetto correttamente che il film si sarebbe presto espanso oltre il mondo rarefatto del pubblico demo per diventare un mezzo di comunicazione di massa che riflette i gusti della società (nel bene e nel male).
Col tempo, GPT-3 e tecnologie simili faranno lo stesso. Non è immediatamente chiaro come ricostruiranno le società e sconvolgeranno le industrie. Ma io sono qui con te – come fece Gorky 120 anni fa con il suo pubblico – per dire che il cambiamento sta arrivando. Oggi ho visto il regno delle ombre. Il futuro, credo, è luminoso.
Thomas Smith da onezero.medium.com
