L’anno scorso, OpenAI ha introdotto l’allora più grande rete neurale GPT-3 in un documento intitolato “I modelli linguistici sono Few Shot Learners”. Un modello di linguaggio all’avanguardia, GPT-3, comprende 175 miliardi di parametri contro 1,5 miliardi di parametri del suo predecessore GPT-2. GPT-3 ha sconfitto il modello Turing NLG con 17 miliardi che in precedenza deteneva il record di “più grande di sempre”. Il modello linguistico è stato ammirato, persino criticato, sottoposto a un attento esame; ha trovato anche nuove interessanti applicazioni.
Tutti e tre i modelli sono stati rilasciati nel giro di un anno; GPT-1 è stato rilasciato nel 2018, GPT-2 nel 2019 e GPT-3 nel 2020. Se seguiamo questo schema, il rilascio di GPT-4 potrebbe essere dietro l’angolo. Gli osservatori del settore ritengono che GPT-4 potrebbe essere lanciato all’inizio del 2023.
In quello che può essere definito uno sviluppo entusiasmante, Sam Altman , il CEO di OpenAI, in una sessione di domande e risposte nel meetup online di AC10, ha parlato dell’imminente rilascio di GPT-4 .
Cosa aspettarsi da GPT-4
Altman ha affermato nell’intervista che contrariamente alla credenza popolare, GPT-4 non sarà più grande di GPT-3 ma utilizzerà più risorse di calcolo. Questo è un annuncio interessante considerando le voci contro i pericoli di avere grandi modelli linguistici e come influenzano in modo sproporzionato sia l’ambiente che le comunità sottorappresentate. Altman ha affermato che ciò sarebbe stato ottenuto lavorando con tutti i diversi aspetti di GPT, inclusi algoritmi di dati e messa a punto.
Ha anche detto che l’obiettivo sarebbe ottenere il massimo dai modelli più piccoli. La saggezza popolare dice che più parametri ha un modello, più compiti complessi può raggiungere. I ricercatori hanno parlato sempre più di come l’efficacia di un modello potrebbe non essere necessariamente correlata alle sue dimensioni come si credeva. Ad esempio, di recente, un gruppo di ricercatori di Google ha pubblicato uno studio che mostra che un modello molto più piccolo di GPT-3 – Fine-tuned Language Net (FLAN) – ha fornito risultati migliori del primo con un ampio margine su una serie di benchmark impegnativi. .
Detto questo, OpenAI sta ancora cercando di capire come addestrare un modello più piccolo per eseguire determinati compiti e pensare a problemi molto difficili.
Altman ha anche affermato che GPT-4 si concentrerà maggiormente sulla codifica, ovvero Codex (il Codex è un discendente di GPT-3). Vale la pena notare che OpenAI ha recentemente rilasciato Codex tramite API in beta privata. Codex è anche la base per GitHub Copilot. Comprende più di una dozzina di lingue e può anche interpretare semplici comandi in linguaggio naturale ed eseguirli per conto degli utenti, consentendo la creazione di un’interfaccia in linguaggio naturale per le applicazioni esistenti.
La codifica sembra essere un’altra importante area di applicazione per i GPT. Un esempio è la funzione assistiva basata su GPT-3 recentemente annunciata da Microsoft per il software PowerApps dell’azienda che converte il linguaggio naturale in frammenti di codice. Con le recenti dichiarazioni di Altman , si prevede che OpenAI sfrutterà maggiormente questa capacità con la nuova puntata di GPT.
Oltre a GPT-4, Altman ha anche dato una sbirciatina a GPT-5. Ha detto che GPT-5 potrebbe essere in grado di superare il test di Turing. Tuttavia, ha anche detto che potrebbe non valerne la pena. Per chi non lo sapesse, il test di Turing è un metodo per determinare se un sistema può pensare come un essere umano. Ciò è in linea con lo sforzo di OpenAI di raggiungere in definitiva l’intelligenza generale artificiale (AGI), su cui il laboratorio di ricerca è stato piuttosto esplicito.
Rilascio pubblico di DALL.E
Oltre a GPT-4, un altro importante punto di discussione è stato DALL.E. Altman ha detto che DALL.E sarebbe stato rilasciato pubblicamente. È una versione da 12 miliardi di parametri di GPT-3 addestrata per generare immagini da didascalie di testo. Rilasciato all’inizio di quest’anno, DALL.E utilizza un set di dati di coppie testo-immagine per eseguire diverse attività come la creazione di versioni antropomorfizzate di animali e oggetti inanimati, il rendering di testo, l’applicazione di trasformazioni alle immagini e la combinazione di concetti anche non correlati.
Ovviamente, ciò che è emerso durante la breve sessione con Altman potrebbe essere solo un teaser di ciò che potrebbe accadere in futuro. Detto questo, queste piccole rivelazioni sono interessanti ed entusiasmanti, lasciando indovinare come si sarebbe rivelato il prossimo modello GPT, nel bene e nel male.
