Meta FAIR ha sviluppato RPM, Research Preference Model, un sistema progettato per aiutare gli agenti di ricerca AI a decidere quali esperimenti eseguire prima di utilizzare risorse GPU. L’approccio nasce dal fatto che un agente autonomo può generare rapidamente numerose ipotesi, modifiche al codice e possibili strategie sperimentali, mentre l’esecuzione effettiva di ogni candidato può richiedere ore o giorni di calcolo. RPM introduce quindi un livello di selezione intermedio: invece di eseguire tutti gli esperimenti prodotti dall’agente, analizza i candidati e stabilisce quali abbiano maggiori probabilità di portare a un risultato utile, concentrando il calcolo soltanto sulle alternative considerate più promettenti.
Il sistema è stato sviluppato da ricercatori di Meta FAIR insieme all’Università di Oxford e all’University College London. Il problema affrontato riguarda soprattutto la distribuzione del costo computazionale nei sistemi di ricerca autonomi: generare un’idea sperimentale, pianificare una modifica e produrre il relativo codice è relativamente economico rispetto all’addestramento di un modello e alla misurazione dei risultati. Quando un agente riesce a produrre molti più esperimenti di quanti sia possibile eseguire, la capacità di scegliere correttamente quali portare avanti diventa quindi determinante per la velocità complessiva della ricerca.
RPM non cerca di prevedere direttamente quale sarà il punteggio finale di un esperimento o quale valore numerico verrà ottenuto dopo l’esecuzione. I ricercatori hanno ritenuto poco affidabile chiedere a un modello linguistico di stimare con precisione risultati sperimentali che non sono ancora stati osservati. Il sistema opera invece attraverso confronti relativi: riceve più candidati, ne esamina il piano sperimentale, il codice e i risultati delle ricerche eseguite in precedenza e stabilisce quale delle alternative appare più promettente rispetto alle altre. In questo modo il problema viene trasformato da una previsione assoluta delle prestazioni a una selezione per preferenza tra più possibilità.
RPM è stato integrato in AIRA-dojo, un framework per agenti autonomi di ricerca nel quale l’AI genera idee, modifica il codice, esegue esperimenti, valuta i risultati e utilizza quanto appreso per produrre soluzioni successive. Con RPM, l’agente genera contemporaneamente 15 candidati. Questi vengono confrontati a coppie attraverso una procedura simile a un torneo, eliminando progressivamente le alternative considerate meno promettenti. Al termine del confronto rimane un solo candidato, che viene effettivamente eseguito sulla GPU. Il principio operativo consiste quindi nel trasferire una parte maggiore della selezione alla fase di ragionamento, lasciando il calcolo più costoso soltanto all’esperimento che ha superato la valutazione preliminare.
I ricercatori hanno implementato due varianti del sistema. La prima, denominata inference-only RPM, effettua la selezione senza eseguire esperimenti aggiuntivi e valuta esclusivamente il piano, il codice e la cronologia della ricerca disponibile. La seconda, agentic RPM, può invece svolgere anche piccoli esperimenti pilota prima di decidere quale candidato debba essere eseguito su scala completa. In questo secondo caso la selezione utilizza quindi sia il ragionamento sul materiale disponibile sia evidenze sperimentali preliminari ottenute con un costo computazionale più contenuto.
La valutazione è stata condotta utilizzando AIRS-Bench, un benchmark per la ricerca automatizzata nel machine learning. Il metodo di riferimento, basato sulla selezione casuale dei candidati, ha ottenuto un punteggio normalizzato medio di 0,684. L’impiego dell’inference-only RPM ha portato il valore a 0,711, mentre l’agentic RPM ha raggiunto 0,729. Quest’ultimo risultato si avvicina al limite superiore di 0,748 ottenuto utilizzando un validation oracle, cioè una procedura che dispone di informazioni privilegiate per individuare le alternative migliori.
Il miglioramento è risultato particolarmente evidente sul tempo necessario per raggiungere le stesse prestazioni. Senza RPM, l’agente ha impiegato l’intero budget computazionale di 24 ore per arrivare a un punteggio finale di 0,684. L’inference-only RPM ha raggiunto lo stesso livello in 14,88 ore, corrispondenti a un’accelerazione di 1,61 volte. L’agentic RPM ha ottenuto lo stesso risultato in 15,50 ore, risultando 1,55 volte più veloce. Entrambe le varianti hanno quindi raggiunto le prestazioni finali del sistema tradizionale utilizzando meno di due terzi del tempo di esecuzione richiesto dall’approccio privo del modello di preferenza.
La selezione degli esperimenti ha prodotto anche risultati superiori ai precedenti massimi ottenuti dagli agenti di ricerca. L’agentic RPM ha raggiunto un’accuratezza del 94,1% su WinoGrande, superando il precedente miglior risultato del 90,4% ottenuto con un approccio basato su agenti. L’inference-only RPM ha invece raggiunto il 95,7% su SVAMP, superando anche il precedente miglior risultato umano del 94,2%.
L’impostazione di RPM modifica quindi il modo in cui viene utilizzato il budget computazionale all’interno di un agente di ricerca autonomo. Il problema non viene affrontato aumentando semplicemente il numero di esperimenti eseguiti o la quantità di GPU disponibili, ma introducendo un meccanismo che filtra preventivamente le ipotesi generate dall’AI. L’agente continua a produrre numerose alternative, ma la parte più costosa della pipeline viene riservata soltanto ai candidati che hanno superato una fase esplicita di confronto e selezione, riducendo il numero di esecuzioni necessarie per arrivare a una soluzione competitiva.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)