L’importanza del feedback umano nell’addestramento degli algoritmi di apprendimento automatico è un argomento di crescente interesse. Nel 2019, il direttore della ricerca di IBM ha sottolineato la sfida di affidarsi esclusivamente all’apprendimento per rinforzo, che dipende fortemente da tentativi ed errori.
L’apprendimento per rinforzo dal feedback umano (RLHF) è stato ampiamente utilizzato da Google DeepMind per addestrare algoritmi come AlphaGo e AlphaStar. Questo approccio si è dimostrato efficace nell’allineare i modelli linguistici di grandi dimensioni (LLM) con le preferenze umane. Tuttavia, c’è un ostacolo cruciale nel raccogliere etichette di preferenza umana di alta qualità.
Per affrontare questo problema, Google Research ha introdotto il concetto di apprendimento per rinforzo dal feedback umano con feedback AI (RLAIF). Questo nuovo framework cerca di ridurre la dipendenza dall’intervento umano nell’addestramento dei modelli. I ricercatori hanno scoperto che entrambi gli approcci, RLHF e RLAIF, mostrano prestazioni simili, con una leggera preferenza per RLHF.
Un aspetto interessante è che i valutatori umani sembrano preferire RLAIF il 71% delle volte e RLHF il 73% delle volte, ma in un confronto diretto, i due sono approssimativamente alla pari. Entrambi gli approcci generano riassunti preferiti rispetto ai riassunti scritti da esseri umani.
Tuttavia, entrambi tendono a produrre sintesi più lunghe rispetto alla politica di fine tuning supervisionata (SFT), il che potrebbe contribuire al miglioramento della qualità percepita.
Inoltre, il post menziona anche un nuovo algoritmo chiamato auto-addestramento rinforzato (ReST) di Google DeepMind, che cerca di rimuovere ulteriormente l’intervento umano. I risultati indicano che ReST funziona bene, superando l’RL online quando incorpora più passaggi di “miglioramento”.
Questi sviluppi nell’ambito dell’addestramento dell’IA sono importanti, specialmente in vista del Progetto Gemini, che potrebbe cambiare il panorama dell’intelligenza artificiale generativa.
Con questi studi recenti e l’attenzione crescente sull’apprendimento per rinforzo con l’intelligenza artificiale, siamo ansiosi di vedere cosa riserva il futuro dell’IA.