Meno di un mese dopo che Google ha lanciato il suo ‘rivoluzionario’ Gemini, che ha fatto tanto parlare nei video aziendali (un po’ troppo patinati, se mi chiedete), ecco che arriva la doccia fredda. Si scopre che il famoso Gemini Pro, l’ultima fatica di Google, è un po’ indietro rispetto al nostro vecchio amico GPT-3.5 Turbo di OpenAI. Sì, proprio così: il neonato di Google, frutto di mesi di duro lavoro, non regge il confronto con il modello gratuito e un po’ meno chic di OpenAI.
Ma non è tutto. Gli abbonati a ChatGPT Plus ed Enterprise di OpenAI stanno già sguazzando con i modelli GPT-4 e GPT-4V, mentre i poveri utenti di Gemini si devono accontentare del Pro. Questo scoop arriva grazie ai geni della Carnegie Mellon University e di BerriAI, che hanno pubblicato uno studio su arXiv.org, facendoci sapere che, al momento della loro ricerca (19 dicembre 2023), Gemini Pro è un po’ sotto a GPT 3.5 Turbo in quasi tutte le attività.
Per i Googler che hanno sudato sette camicie su Gemini, questa notizia deve bruciare. Dopo la pubblicazione dello studio, Google ha risposto affermando che il loro Gemini Pro batte GPT-3.5 e che il futuro Gemini Ultra, previsto per il 2024, supererà persino GPT-4. Aspettiamo con ansia di vedere se sarà vero!
I risultati di Google mostrano che Gemini Pro fa il suo lavoro dignitosamente, ma il futuro Gemini Ultra promette meraviglie, superando tutti i modelli esistenti in diversi test. Staremo a vedere!
Il team di ricerca ha testato vari LLM, tra cui il famigerato Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo e il nuovo arrivato Mixtral 8x7B, un modello open source che ha fatto scalpore recentemente. Secondo lo studio, Gemini Pro non è proprio all’altezza di GPT-3.5 Turbo e GPT-4 Turbo in molti compiti.
In una serie di test di conoscenza generale, Gemini Pro è risultato inferiore ai modelli GPT. E non solo: i ricercatori hanno notato che Gemini tende a scegliere la risposta ‘D’ più spesso degli altri modelli, suggerendo una possibile mancanza di sintonizzazione nelle domande a scelta multipla.
In alcune categorie specifiche, come il genere umano e la medicina professionale, Gemini è stato inferiore a GPT-3.5 Turbo, spesso rifiutandosi di rispondere per motivi di sicurezza e contenuti. Tuttavia, ha superato GPT-3.5 Turbo in sicurezza e microeconomia delle scuole superiori, anche se con un margine marginale.
In definitiva, il documento evidenzia che Google ha ancora del lavoro da fare per raggiungere il livello di OpenAI in termini di prestazioni AI generative. Ma c’è una nota positiva per Google: Gemini è ancora meglio dell’open source all’avanguardia. Tuttavia, per ora, OpenAI sembra mantenere il trono nell’AI generativa per consumatori e imprese.
Ethan Mollick, influencer AI e professore alla Wharton School of Business, sembra essere d’accordo, affermando che GPT-4 è ancora il top… almeno fino all’arrivo di Gemini Ultra nel nuovo anno. Quindi, Google, la palla è nel tuo campo!”