Salesforce ha presentato SFR-AutoR&D, un sistema di ricerca automatizzata basato su agenti AI capace di formulare ipotesi sperimentali, modificare codice, sviluppare strategie di addestramento e verificare i miglioramenti ottenuti rispetto a configurazioni di riferimento. La piattaforma è stata utilizzata per realizzare SFR-Embedding v4 in circa 80 ore, riducendo a pochi giorni un processo di sperimentazione che, secondo Salesforce, richiede normalmente diverse settimane di lavoro umano. Il progetto nasce dall’esperienza maturata nell’ottimizzazione di SFR-Embedding V3, impiegato per il recupero delle informazioni all’interno di Salesforce Data Cloud. I modelli embedding trasformano testi e documenti in rappresentazioni vettoriali utilizzabili per la ricerca semantica, un componente che consente ad Agentforce di recuperare informazioni aziendali pertinenti prima di formulare le risposte. Per la quarta versione, il gruppo di ricerca ha utilizzato come riferimento iniziale il modello open source EmbeddingGemma 2, affidando agli agenti una parte sostanziale del ciclo sperimentale.
Il funzionamento di SFR-AutoR&D segue un processo controllato che comprende l’individuazione di ipotesi verificabili, la costruzione di una soluzione candidata, la valutazione quantitativa e l’utilizzo dei risultati per orientare gli esperimenti successivi. Il sistema comprende due agenti specializzati. AutoR&D-Engineer interviene direttamente sui repository software, ricevendo obiettivi e vincoli e producendo modifiche accompagnate da benchmark che ne documentano i risultati. TrainForge opera invece sull’addestramento dei modelli e, partendo da un modello iniziale, da un insieme di attività, dai criteri di valutazione e da un budget computazionale, cerca le configurazioni che producono miglioramenti misurabili. TrainForge non si limita a selezionare strategie predefinite, ma può sviluppare nuovi metodi di addestramento e generarne l’implementazione attraverso Codex. Le soluzioni candidate vengono sottoposte inizialmente a test rapidi mediante LoRA, che aggiorna una parte limitata dei parametri, e successivamente a prove con tutti i parametri prima di arrivare all’addestramento completo. Dataset di valutazione mantenuti separati e invariati permettono di verificare i risultati senza utilizzare i dati di controllo durante l’ottimizzazione.
Entrambi gli agenti utilizzano AutoInfra, l’infrastruttura condivisa di Salesforce per l’addestramento e l’inferenza, che distribuisce esperimenti paralleli tra lavoratori GPU e mantiene persistenti richieste, avanzamenti e risultati, consentendo di riprendere l’esecuzione dopo interruzioni del gateway. L’architettura mantiene separati gli ambienti dedicati agli algoritmi, ai servizi di addestramento e alle sandbox di esecuzione, introducendo controlli contro alterazioni dell’ambiente e tentativi di aggirare i criteri di valutazione. Una modifica viene conservata soltanto se il miglioramento è verificato, mentre in caso contrario rimane valida la configurazione precedente. I ricercatori continuano a definire obiettivi, limiti computazionali, dati utilizzabili e requisiti di affidabilità, lasciando agli agenti l’esplorazione delle alternative all’interno di tali condizioni.
Nei test pubblicati, il checkpoint sperimentale di SFR-Embedding v4 ha ottenuto un punteggio di 57,21 contro 51,07 di EmbeddingGemma 2, con un miglioramento riportato di 6,13 punti su scala da 0 a 100. Il checkpoint predisposto per il percorso di produzione ha ottenuto 55,76. Le misurazioni utilizzano la media della metrica nDCG@10 su dieci attività di ricerca comprese nella stessa suite MTEB da 41 attività, attribuendo maggiore peso ai documenti pertinenti collocati nelle prime posizioni dei risultati. Per tutti e tre i modelli è stato applicato un limite di contesto di 8.192 token. Salesforce precisa che si tratta di confronti locali tra checkpoint e non di posizioni ufficiali nella classifica MTEB. Un’ulteriore sessione autonoma di circa nove ore dedicata all’efficienza dell’inferenza ha prodotto, secondo i dati aziendali, un incremento del throughput del 36% e una riduzione della latenza del 17%, con perdite qualitative considerate trascurabili.
Gli esperimenti di ottimizzazione software hanno riguardato anche librerie utilizzate nell’elaborazione e nella ricerca vettoriale. Salesforce dichiara accelerazioni fino a 1,84 volte nelle operazioni di riduzione di pandas su tipi di dato nullable, un aumento mediano del 4,1% delle interrogazioni al secondo in hnswlib su tre configurazioni di indice e un incremento del 17,5% del throughput a singolo core di USearch con GCC 11.4. Per la modifica a pandas sono stati eseguiti 134.064 casi di confronto differenziale senza riscontrare differenze nei valori, nelle maschere, nei tipi di dato o nelle eccezioni; gli input non compatibili con il percorso ottimizzato continuano a utilizzare l’implementazione originale. La modifica a hnswlib riutilizza memoria temporanea per ciascun worker mantenendo identici i risultati delle ricerche, mentre quella a USearch memorizza le norme dei vettori con un incremento di quattro byte per vettore e preserva il recall misurato. Le tre ottimizzazioni relative a pandas sono state proposte come contributi upstream. L’introduzione di SFR-Embedding v4 nei prodotti Salesforce rimane soggetta alle verifiche di sicurezza, affidabilità e conformità, con il lavoro di produzione ancora in corso.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)