I modelli di linguaggio di grandi dimensioni (LLM) hanno compiuto progressi notevoli nelle capacità di ragionamento. Tuttavia, la loro abilità nel riferirsi correttamente e utilizzare dati esterni — informazioni non incluse nel loro addestramento — in combinazione con il ragionamento è rimasta indietro. Questo rappresenta un problema, specialmente quando si utilizzano LLM in scenari dinamici e ricchi di informazioni che richiedono dati aggiornati dai motori di ricerca.
Una soluzione a questa sfida è stata presentata: SEARCH-R1, una tecnica introdotta in un articolo dai ricercatori dell’Università dell’Illinois a Urbana-Champaign e dell’Università del Massachusetts Amherst. SEARCH-R1 addestra gli LLM a generare query di ricerca e integrare senza soluzione di continuità il recupero delle informazioni dai motori di ricerca nel loro processo di ragionamento.
I motori di ricerca sono fondamentali per fornire alle applicazioni basate su LLM conoscenze esterne e aggiornate. Le due principali metodologie per integrare i motori di ricerca con gli LLM sono la Generazione Arricchita dal Recupero (RAG) e l’uso di strumenti, implementato attraverso l’ingegneria dei prompt o il fine-tuning del modello. Tuttavia, entrambe le metodologie presentano limitazioni che le rendono inadatte ai modelli di ragionamento. RAG spesso fatica con imprecisioni nel recupero e manca della capacità di eseguire recuperi multi-turno e multi-query, essenziali per i compiti di ragionamento. L’uso di strumenti basato su prompt spesso fatica con la generalizzazione, mentre gli approcci basati sull’addestramento richiedono vasti dataset annotati di interazioni ricerca-e-ragionamento, difficili da produrre su larga scala.
SEARCH-R1 consente agli LLM di interagire con i motori di ricerca durante il loro processo di ragionamento, anziché avere una fase di recupero separata. SEARCH-R1 definisce il motore di ricerca come parte dell’ambiente dell’LLM, permettendo al modello di integrare senza soluzione di continuità la generazione di token con i risultati del motore di ricerca. I ricercatori hanno progettato SEARCH-R1 per supportare il ragionamento e la ricerca iterativi. Il modello è addestrato per generare set separati di token per pensiero, ricerca, informazione e segmenti di risposta. Ciò significa che durante il suo processo di ragionamento (delimitato da tag ), se il modello determina che ha bisogno di informazioni esterne, genera una sequenza che contiene la query di ricerca. La query viene quindi passata al motore di ricerca, e i risultati vengono integrati nel segmento . Questo ciclo continua fino a quando il modello ha raccolto informazioni sufficienti per generare una risposta completa.
Con le imprese che cercano modi per integrare questi nuovi modelli nelle loro applicazioni, tecniche come SEARCH-R1 promettono di sbloccare nuove capacità di ragionamento che si basano su fonti di dati esterne. Questo potrebbe portare a sistemi di intelligenza artificiale più robusti e informati, in grado di fornire risposte più accurate e aggiornate in scenari dinamici e complessi.