Google sta incontrando difficoltà nel migliorare le prestazioni del suo modello linguistico di grandi dimensioni (LLM), Gemini, nonostante l’impiego di ingenti risorse computazionali e dati di addestramento. Secondo un rapporto di The Information del 13 novembre 2024, gli sforzi per potenziare Gemini attraverso l’aumento dei dati e della potenza di calcolo non hanno prodotto i risultati attesi, con miglioramenti minimi nelle prestazioni.
Questo fenomeno evidenzia i limiti della “legge di scaling”, che presuppone che l’incremento dei dati e delle risorse computazionali porti a miglioramenti lineari nelle prestazioni dei modelli. Tuttavia, recenti osservazioni indicano che questa relazione potrebbe non essere più valida per i LLM avanzati, suggerendo la necessità di strategie alternative per l’ottimizzazione.
In risposta a queste sfide, Google sta esplorando nuove metodologie per migliorare le prestazioni di Gemini. Tra queste, l’azienda si sta concentrando su tecniche di addestramento avanzate, come il reinforcement learning e l’ottimizzazione dei parametri iper, per affinare il modello senza aumentare significativamente le risorse computazionali. Inoltre, Google sta valutando l’integrazione di dati sintetici generati da intelligenze artificiali per arricchire il processo di addestramento, sebbene i risultati finora siano stati limitati.
Parallelamente, OpenAI ha affrontato sfide simili con il suo modello ‘o1’, adottando strategie innovative per migliorare le prestazioni senza modificare l’addestramento preesistente. Queste strategie includono l’allocazione di risorse computazionali aggiuntive durante l’inferenza per migliorare la qualità delle risposte, una tecnica nota come ‘test-time compute’.