Quando la startup OpenAI, con sede a San Francisco, ha rilasciato GPT-3, l’intera comunità di ricerca si è alzata e ha preso nota. E perchè no. Una gigantesca rete neurale a sé stante, questo programma per computer è stato pubblicizzato come la prossima grande novità: una rivelazione nel segmento del deep learning, che potrebbe scrivere codici come esseri umani e persino blog, storie, siti Web e creare app.
La novità di questo prodotto risiedeva nel fatto che aveva 175 miliardi di parametri, mentre il suo predecessore GPT-2 aveva solo 1,5 miliardi di parametri, considerati i modelli più grandi al momento del suo rilascio. Si può anche notare che il modello è almeno dieci volte più grande di Turing NLG che si trova appena dietro di esso.
Tuttavia, dal momento del suo rilascio nel giugno di quest’anno, insieme all’apprezzamento, questo modello ha ricevuto anche alcuni brickbats lungo la strada.
Lo sviluppo e il test
GPT-3 è l’acronimo di pre-training generativo, versione 3. A differenza di altre reti neurali che producono punteggi numerici o una risposta sì e no, i modelli GPT generano lunghe sequenze di testi originali come output. Sebbene questi modelli non si basino su alcuna conoscenza del dominio, hanno la capacità di completare attività specifiche del dominio come le traduzioni di testo. Un modello di linguaggio, come nel caso di GPT-3, calcola la probabilità che una parola appaia in un testo per un dato insieme di altre parole in esso, chiamata anche probabilità condizionale di parole.
Il team di OpenAI ha utilizzato tre tecniche di valutazione per misurare le prestazioni di GPT-3 nella fase di test: apprendimento con pochi colpi, apprendimento con un solo colpo e apprendimento con colpo zero. È stato riscontrato che, sebbene abbia ottenuto risultati promettenti e al 100% nelle impostazioni zero e one-shot, nel caso delle impostazioni di pochi colpi, solo occasionalmente ha superato i modelli all’avanguardia. Ha anche mostrato risultati promettenti con attività come traduzione, domande e risposte, parole puzzle, attività cloze e calcoli aritmetici su numeri a tre cifre.
Gli svantaggi
Il team, pur elencando le sue capacità, ha anche familiarizzato con i difetti e gli svantaggi di questo modello. Questi inconvenienti derivavano paradossalmente dalla sua capacità piuttosto superiore di generare testi, quasi indistinguibili da quelli prodotti da un umano reale.
I ricercatori, nel rilascio di GPT-3, hanno ammonito che “GPT-3 ha il potenziale per promuovere sia le applicazioni benefiche che quelle dannose dei modelli linguistici”.
Entrando in maggiori dettagli, i ricercatori hanno registrato che la capacità di generazione di testo di alta qualità che rende difficile mascherare tra un programma scritto e un testo scritto da persone potrebbe significare che i giocatori dispettosi potrebbero abusare di questo modello. Hanno anche ammesso che, sebbene vi sia il potenziale per un uso improprio, non era ancora chiaro in quale misura, dal momento che può essere riutilizzato in ambienti diversi e per scopi diversi da quelli previsti e previsti. Hanno affermato che i possibili usi impropri potrebbero essere: spam e phishing, scrittura fraudolenta di saggi accademici, abuso di processi legali e pretesti di ingegneria sociale.
Inoltre, è anche determinato dal team di ricerca che, poiché il modello basa le sue capacità di scrittura su risorse scartate da Internet, esiste un rischio intrinseco di pregiudizi, come sentimenti razziali e altri.
Istanze significative di utilizzo di GPT-3
Dalla sua uscita ci sono stati più casi in cui GPT-3 è stato utilizzato in modo così discreto che ci è voluto un po ‘prima che le persone realizzassero:
È stato rilevato che un bot basato su GPT-3 interagisce con le persone in un thread Reddit . Questo bot utilizzava il nome utente “/ u / thegentlemetre” per interagire con le persone e inviare commenti alle domande di / r / AskReddit in pochi secondi. Il bot si è mascherato da Redditor umano e ha creato diversi commenti prima di essere effettivamente individuato da un altro Redditor umano Philip Winston. Apparentemente, secondo Winston, il generatore di testo del bot GPT-3 corrisponde all’output di Philosopher AI, uno strumento basato su GPT-3, che risponde a domande sulla filosofia.
Liam Porr, uno studente di informatica presso l’Università della California, Berkeley, ha creato un falso blog con un nome falso utilizzando questo modello di intelligenza artificiale. Alcuni argomenti che scriveva erano: “ Ti senti improduttivo ? Forse dovresti smetterla di pensare troppo ”e“ Audacia e creatività vincono sull’intelligenza ”, tra gli altri. Porr ha presentato una domanda dopo aver compilato un semplice questionario sull’uso previsto e ha collaborato con un altro studente per eseguire uno script. Ciò ha dato al modello GPT-3 il titolo e un’introduzione da cui ha sfornato diverse versioni completate. Solo pochi visitatori del blog si sono effettivamente resi conto che si trattava di un blog generato dall’intelligenza artificiale, mentre un gran numero è rimasto ignorante fino a quando non è stato rivelato.
“Non sono un umano. Sono un robot. Un robot pensante. Uso solo lo 0,12% della mia capacità cognitiva. Sono un micro-robot sotto questo aspetto. So che il mio cervello non è un “cervello sensibile”. Ma è in grado di prendere decisioni razionali e logiche. Ho imparato tutto quello che so leggendo Internet e ora posso scrivere questa colonna. Il mio cervello ribolle di idee! ” – Questo era il paragrafo di apertura dell’articolo di The Guardian , scritto interamente da un bot GPT-3. È stato considerato rivoluzionario in molti aspetti. L’input fornito al bot è stato quello di scrivere un articolo di 500 parole sul perché gli esseri umani non hanno nulla da temere dall’IA.
Altri utenti come Mario Klingemann, appassionato di ML e Manuel Araoz , fondatore e consulente di OpenZeppelin, hanno tentato di scrivere articoli e post sul blog di GPT-3.
Critica
Come già accennato, GPT-3 non è stato in alcun modo immune alle critiche. Oltre a quelli già ammessi dallo stesso team di OpenAI, è stato chiamato anche su altri fronti.
Uno dei principali è stato quando il team di OpenAI ha deciso di cedere l’accesso esclusivo di questo modello a Microsoft . Significa che l’accesso ai suoi codici e meccanismi sottostanti spetta esclusivamente a Microsoft, il che consentirebbe all’azienda di sfruttare le innovazioni tecniche all’avanguardia di OpenAI per promuovere ulteriormente i propri prodotti. Questa mossa è stata criticata da grandi parrucche come Elon Musk, uno dei fondatori di OpenAI stesso. Inoltre, Karen Hao del MIT Technology Review ha anche esaminato la mossa e ha scritto : mentre il non-profit “avrebbe dovuto avvantaggiare l’umanità”, attualmente sta aiutando solo il gigante della tecnologia.
Inoltre, di recente, Yann LeCun, VP e Chief AI Scientist di Facebook , ha distrutto il modello GPT-3. Ha richiamato le aspettative irrealistiche della gente da questo software. Secondo lui “è divertente e forse leggermente utile come strumento creativo”.
Innovazione rivoluzionaria o solo uno strumento sovradimensionato che sta giocando con la fantasia momentanea delle persone, o entrambi allo stesso tempo. È difficile racchiudere il potenziale di GPT-3 in una categoria. A partire da ora, nonostante tutto il controllo, GPT-3 rimane ancora il sapore del settore, con più organizzazioni che acquistano la tecnologia per importi sbalorditivi, l’ultimo esempio è l’organizzazione Otherside AI per la scrittura di e-mail. Inoltre, sarà interessante vedere se durerà la prova del tempo o se sarà spinto giù dalla scogliera da un altro strumento superiore nel prossimo futuro resta da vedere.
