L’Urgenza di LlaMa 3 per Meta: Una Corsa Contro il Tempo
Meta, spesso definita la “corte senza corona” dell’open source, è sotto pressione. Nonostante le precedenti versioni di Llama e Llama 2 siano state ampiamente lodate come modelli linguistici di punta, recenti divergenze interne hanno visto la partenza di molti dei talenti che avevano lavorato su questi progetti. Al centro delle contese? Una lotta per le risorse con un altro gruppo di ricerca interno che mirava a sviluppare un modello concorrente.
Mentre Meta si scontra con questi problemi, si trova anche a dover fronteggiare nuovi avversari nel campo dell’open source. Sorprendentemente, il trono dell’open source ha visto l’ascesa di un nuovo sovrano proveniente dal Medio Oriente. TII ha infatti lanciato Falcon, un modello che sta attualmente dominando le classifiche. Con una vastità di 180 miliardi di parametri e addestrato su 3,5 trilioni di token, Falcon 180b non è solo un concorrente, ma un vero e proprio gigante. Le sue prestazioni, al momento, sono paragonate a quelle del PaLM-2, dimostrando la sua potenza.
Il Futuro Multimodale di LLaMa
Nonostante la concorrenza crescente, Meta ha un avversario ben definito: OpenAI, che con la sua promessa di modelli multimodali come DALLE 3, pone l’asticella sempre più in alto. Le aspettative attorno a LLaMa 3 sono immense, con anticipazioni che suggeriscono l’utilizzo di dati di allenamento di alta qualità come Phi 1.5 e l’introduzione di nuove tecniche come la Mixture-of-Architecture.
Tuttavia, la vera rivoluzione potrebbe giungere dalla potenzialità multimodale. Si sospetta che LLaMa 3 potrebbe sfruttare una serie di modelli preesistenti come mPLUG-Owl, llava, minigpt4 e blip2.
L’Impronta di LLaMa nell’Open Source
Il contributo di Meta all’open source è innegabile. Basta dare un’occhiata alle classifiche per notare che molti dei modelli di punta, come Uni-TianYan, FashionGPT e GenZ Model, sono basati su LLaMa.
Falcon, nonostante sia una forza con cui fare i conti, ha suscitato alcune preoccupazioni riguardo alla sua licenza. Esistono clausole che danno al licenziante la libertà di modificare le condizioni d’uso senza doverne dare preavviso, mettendo gli utenti in una posizione precaria.
Mentre la community online si esprime con delusione per il ritardo di LLaMa 3, sembra che Meta non abbia ancora iniziato la sua formazione e che l’attesa potrebbe protrarsi fino al 2024. Questo ritardo potrebbe compromettere la posizione dell’open source, dato che molti ritengono che, senza il rilascio di LLaMa 3 da parte di Meta, pochi altri sarebbero disposti a investire enormi somme per sviluppare e poi rilasciare gratuitamente un modello.
In conclusione, la palla è nel campo di Meta. Il tempo dirà se LLaMa 3 sarà il gigante atteso o se altre forze emergeranno come campioni dell’open source.
