Meta crede di essere in testa alla corsa LLM open source. Tuttavia, Meta si trova essenzialmente nella stessa posizione di OpenAI quattro anni fa, con il suo GPT-2 open source. Ora, con LLaMa, Meta vuole dimostrarsi altruista aprendo la propria tecnologia all’open source. Tuttavia, la verità è che lo fa solo perché LLaMa non è al livello di GPT-4 o PaLM in questo momento.
Nel recente podcast con Lex Fridman, Mark Zuckerberg ha affermato: “Nel punto in cui ci troviamo ora, penso che le azioni si inclinino fortemente verso un approccio più aperto”. Egli crede che se le aziende pensano di avvicinarsi a ciò che ritengono essere la “superintelligenza”, abbia senso per loro discutere e riflettere molto di più.
Zuckerberg è consapevole che, anche con le attuali capacità di LLaMa, il loro modello di linguaggio open source di grandi dimensioni è ancora “un ordine di grandezza inferiore a quello che stanno facendo OpenAI e Google”. Questo spiega perché Meta non è stato invitato all’incontro con il Presidente presso la Casa Bianca. Il motivo dichiarato è che l’incontro era “focalizzato sulle aziende leader attuali nel settore”. La dichiarazione di Zuckerberg nel podcast conferma che ne è a conoscenza.
“Le specifiche esatte di questi modelli, come GPT-4 di OpenAI o PaLM-2 di Google, non vengono rivelate. Potrebbero essere dieci volte più grandi delle versioni precedenti. L’intero dibattito riguarda se sia positivo per il mondo intero accedere a questi modelli di intelligenza artificiale all’avanguardia”, ha affermato Zuckerberg. È interessante notare che ha ammesso che LLaMa di Meta non è un modello di intelligenza artificiale all’avanguardia in questo momento.
Sembra che tutto l’allenamento di Jiu-Jitsu stia finalmente influenzando Zuckerberg. “Penso che sia un grande dono [Jiu-Jitsu] essere umiliati in qualche modo, specialmente fisicamente, perché ciò apre la mente all’intero processo di apprendimento, a cosa significa imparare, che significa essere disposti a fare errori”, ha condiviso Fridman, descrivendo la trasformazione personale di Zuckerberg.
Tuttavia, Zuckerberg ha affermato che LLaMa, con i suoi 65 miliardi di parametri, si dimostra altrettanto performante rispetto a modelli più grandi. “Possiamo farlo funzionare con pochissimi computer ed è molto più efficiente, risparmiando un sacco di soldi a chi lo utilizza”, ha detto Zuckerberg. Ha riconosciuto che le versioni precedenti di LLaMa non sono all’altezza dei modelli all’avanguardia come quelli di OpenAI o Google, né sono lontanamente superintelligenti.
Sebbene Zuckerberg non abbia confermato se la prossima versione di LLaMa sarà all’altezza di quelle di OpenAI o Google, ha dichiarato che, se lo fosse, l’azienda lo renderà open source. Tuttavia, ha sottolineato che ci sono molte tecnologie che Meta non ha reso open source.
Con soli 1,5 miliardi di parametri, GPT-2 era in vantaggio rispetto agli altri nel settore, anche se questo era ancora relativamente vuoto. Ma ora Meta ha trovato la sua risposta: l’open source, mantenendo però il modello solo per scopi di ricerca. Tuttavia, probabilmente non sarà così una volta che le capacità di LLaMa aumenteranno, diventando alla fine un’entità chiusa come OpenAI, come è stato evidenziato nel podcast.
Meta ha evitato di entrare nello spazio LLM. Gran parte di questa scelta è stata influenzata dai fallimenti passati e dal rischio del software open source, come affermato da Yann LeCun, il responsabile dell’IA all’interno dell’azienda. Ma ora, come spiega Zuckerberg, ha senso per l’azienda focalizzarsi sulle tecnologie open source, non per scopi commerciali, ma solo per la ricerca.
Secondo Zuckerberg, la scommessa di Meta è sulla comunità open source, poiché crede che invece di cercare di rivendicare un’IA superintelligente, sarebbe vantaggioso permettere alla comunità di utilizzarla per scopi di ricerca e costruire un’IA più efficiente e allineata.
Meta sta seguendo la sua vera natura di essere uno dei più grandi sostenitori dell’open source, ma potrebbe non rimanere così a lungo, proprio come OpenAI ha cambiato rotta in quattro anni e ha mantenuto per sé il suo GPT-4 “superintelligente”.