Nuovi risultati di ricerca dimostrano che l’uso dell’incoraggiamento umano nell’addestramento dei modelli linguistici su larga scala (LLM), come “ChatGPT”, può portare a un notevole miglioramento nelle loro capacità di risolvere problemi matematici complessi.
Secondo quanto riportato da Business Insider, Google DeepMind ha recentemente sviluppato un approccio denominato “OPRO (Optimization by PROmpting)” per potenziare le competenze matematiche dei LLM. L’idea principale è quella di migliorare la precisione delle risposte generate da questi modelli includendo frasi specifiche nei prompt di input. Si è scoperto che l’aggiunta di un tocco umano, sotto forma di incoraggiamento, può significativamente potenziare la loro capacità di risoluzione dei problemi.
Un esempio lampante di questo approccio è stato evidenziato attraverso la seguente domanda: “Se prepari 4 sfoglie a settimana utilizzando una teglia da 26 pannelli e le distribuisci a 16 persone, quanti biscotti mangerà ciascuna persona?”. Si è constatato che l’inclusione della frase “Pensiamo riguardo ad esso passo dopo passo” nel prompt di input ha portato a un notevole miglioramento nella precisione della risposta.
In particolare, uno studio ha rivelato che, senza la frase “Pensa passo dopo passo”, la precisione della risposta da parte dei LLM si attestava solo al 34%. Tuttavia, quando la frase era presente, la precisione è aumentata in modo significativo, raggiungendo il 71%. Questa tendenza è stata osservata sia in ChatGPT che in Palm 2, entrambi con livelli di precisione simili.
Per quanto riguarda Palm 2, è stato osservato che l’uso del suggerimento “Fai un respiro profondo e risolvi questo problema passo dopo passo” è stato particolarmente efficace. Con questa frase inclusa, Palm 2 ha raggiunto un notevole tasso di precisione dell’80% nella risoluzione di problemi matematici di livello scolastico elementare.
Un’interessante analisi sottolinea che sebbene i LLM non siano in grado di “prendere un respiro profondo” come farebbe un essere umano, ciò è correlato all’enorme quantità di dati da cui traggono conoscenza. Questi dati provengono da una varietà di fonti su Internet, tra cui forum di domande e risposte, dove spesso si trovano frasi come “fai un respiro profondo” o “pensiamoci un passo alla volta” prima di fornire spiegazioni dettagliate per la risoluzione di problemi.
In sintesi, questi risultati indicano che l’inclusione di frasi di incoraggiamento nei prompt di input può notevolmente aiutare i LLM a fornire risposte più accurate e ad affrontare compiti di risoluzione dei problemi con maggiore successo.