Kiss Me, Transformer – Un viaggio di OpenAI
Altri modelli di trasformatori su larga scala includono EleutherAI GPT-J, Wu Dao 2.0 di BAAI, Switch
In poco meno di cinque anni, OpenAI è diventato uno dei principali laboratori di ricerca sull’IA a livello globale, insieme ad altri giocatori di intelligenza artificiale come DeepMind di Alphabet, EleutherAI e SambaNova Systems . Il suo amore per i trasformatori è infinito e indescrivibile.
OpenAI ha fatto notizia (per ragioni sia giuste che sbagliate ) per il suo lavoro di ricerca, in particolare nell’area dei trasformatori, dell’apprendimento senza supervisione, del trasferimento e del più ovvio, GPT-3, o trasformatore pre-addestrato generativo 3.
Due anni fa, OpenAI ha pubblicato un post sul blog e un articolo su GPT-2. È stato creato come un aumento diretto del modello GPT 2018. Ciò ha cambiato tutto per l’azienda, dove ha rilasciato un modello GPT-2 con parametri piccoli ( 124 milioni ) nel febbraio 2019, seguito da un rilascio graduale/fascettato del suo modello medio da 335 milioni e successiva ricerca con i partner e la comunità di intelligenza artificiale nel potenziale del modello per un uso improprio e beneficio per la società.
Da allora, la mania per i modelli con trasformatore è cresciuta in modo significativo. Ad esempio, Adam King ha lanciato “TalktoTransformer.com”, offrendo alle persone un’interfaccia per giocare con i modelli appena rilasciati. Nel frattempo, Hugging Face ha rilasciato una demo di intelligenza artificiale conversazionale basata sui modelli GPT-2 e alla fine ha deciso di non rilasciare il modello GPT-2 di grandi dimensioni per considerazioni etiche.
Inoltre, la società ha anche rilasciato uno strumento di completamento automatico del testo chiamato Write With Transformer , un’app Web creata e ospitata da Hugging Face, che mostra le capacità generative di diversi modelli, tra cui GPT-2 e altri. Inoltre, i ricercatori dell’Università di Washington e dell’Allen Institute for AI Research hanno rivelato GROVER , un modello linguistico di tipo GPT-2. Flusso di lavoro di sviluppo assistito dall’intelligenza artificiale DeepTabNine ha creato un completamento automatico del codice basato su GPT-2. Nel 2019, altri lavori di ricerca basati su GPT-2 includevano DLGNet e GLTR .
Alcuni dei documenti di ricerca popolari pubblicati nello stesso anno includono ” Ridurre l’uso dannoso della ricerca sui media sintetici: considerazioni e potenziali pratiche di rilascio per l’apprendimento automatico ” e ” Ciao. È GPT-2 – Come posso aiutarti? Verso l’uso di modelli linguistici preformati per i sistemi di dialogo orientati ai compiti .’
Nell’agosto 2019, NVIDIA ha addestrato 8,3 miliardi di parametri del modello di trasformatore MegatronML, rendendolo il più grande modello di linguaggio basato su trasformatore addestrato a 24 volte la dimensione di BERT e 5,6 volte la dimensione di GPT-2. Nello stesso mese, OpenAI ha rilasciato il suo modello GPT-2 con parametri più grandi 774 milioni . Non c’era sosta per loro.
Entra in GPT-3
A novembre 2019, OpenAI ha rilasciato una versione completa del modello GPT-2 con 1,5 miliardi di parametri. A questo è seguito nel 2020 il rilascio di GPT-3 con 175 miliardi di parametri , il cui accesso è stato fornito esclusivamente tramite un’API offerta da Microsoft. Altri modelli di trasformatori su larga scala includono EleutherAI GPT-J , Wu Dao 2.0 di BAAI , Switch Transformer di Google e Megatron Turing Natural Language Generation ( MT-NLG ) di NVIDIA-Microsoft.
OpenAI è stata fondata come entità di ricerca sull’IA senza scopo di lucro nel 2015 da Sam Altman, Greg Brockman, Elon Musk e altri, che hanno investito collettivamente 1 miliardo di dollari con la missione di sviluppare l’intelligenza artificiale generale (AGI). Nel 2019, Musk ha lasciato OpenAI a causa di una divergenza di opinioni . Aveva criticato OpenAI, sostenendo che l’azienda dovrebbe essere più aperta.
Successivamente, Microsoft ha investito circa 1 miliardo di dollari in OpenAI e ha ottenuto l’accesso esclusivo al codice sorgente GPT-3. Questa mossa ha completamente alterato le fondamenta di OpenAI, allontanandosi dall’apertura verso la commercializzazione e la segretezza.
Ecco una cronologia completa dei modelli linguistici dei trasformatori di OpenAI negli ultimi tre anni:
In una recente sessione di domande e risposte, Altman ha parlato del modello di trasformatore GPT-4 di prossima uscita , che dovrebbe avere 100 trilioni di parametri, ovvero 500 volte le dimensioni del GPT-3. Altman ha anche dato una sbirciatina al GPT-5 e ha detto che potrebbe superare il test di Turing.
Oltre a questo, OpenAI ha recentemente lanciato OpenAI Codex , un sistema di intelligenza artificiale che traduce il linguaggio naturale in codice. È un discendente di GPT-3. I dati di addestramento contengono sia il linguaggio naturale che miliardi di righe di codice sorgente da piattaforme open source, incluso il codice nei repository GitHub pubblici.
Pensiero finale
Il modello GPT-3 di OpenAI è uno dei modelli più discussi a livello globale. Questo perché ha visto alcune applicazioni/casi d’uso del mondo reale, tra cui comprensione della lingua, traduzione automatica e previsioni di serie temporali, tra gli altri.
Mentre molti nuovi attori stanno emergendo nello spazio e creano modelli linguistici su larga scala utilizzando trasformatori e altre tecniche innovative – con GPT-4 e GPT-5 proprio dietro l’angolo – non c’è sosta per OpenAI. Le possibilità sono immense. Sarà solo emozionante da qui in poi.
