I modelli linguistici di grandi dimensioni (LLM) possono spesso commettere errori nei ragionamenti complessi. Per migliorare l’affidabilità delle risposte generate, i ricercatori usano verificatori o modelli di ricompensa per scegliere le risposte più accurate tra quelle proposte.
Recentemente, Google DeepMind, insieme ad altre istituzioni come l’Università di Toronto, Mila e UCLA, ha introdotto un nuovo metodo chiamato GenRM. Questo approccio sfrutta le capacità generative degli LLM per creare verificatori più efficaci, potenzialmente risolvendo problemi che i metodi attuali non riescono a gestire.
Tradizionalmente, per migliorare l’accuratezza degli LLM si generano diverse risposte e si usa un verificatore per scegliere la migliore. Questi verificatori sono spesso basati su modelli di ricompensa (RM) che danno un punteggio alle risposte. Tuttavia, questi modelli non sfruttano appieno le capacità di generazione degli LLM.
GenRM si distingue perché allena i verificatori a usare la previsione del token successivo, migliorando così la loro capacità di valutare le risposte. Questo metodo consente ai verificatori di generare passaggi di ragionamento intermedi prima di arrivare a una conclusione, il che può aiutare a scoprire errori sottili che altri metodi potrebbero non rilevare.
Il metodo di verifica di GenRM è rappresentato come un token di testo. Ad esempio, per determinare se una risposta è corretta, il verificatore usa un prompt come “La risposta è corretta?” e rappresenta la risposta come un token di testo (“Sì” o “No”). Inoltre, GenRM utilizza tecniche avanzate come il ragionamento basato sulla catena di pensiero (CoT), che permette di generare e valutare passaggi di ragionamento prima di prendere una decisione.
I test hanno dimostrato che GenRM supera i metodi tradizionali in vari compiti di ragionamento, come la risoluzione di problemi matematici e l’ordinamento delle parole. Ad esempio, un modello addestrato con GenRM ha risolto il 92,8% dei problemi in un benchmark di ragionamento matematico, battendo modelli come GPT-4 e Gemini 1.5 Pro.