Perplexity ha pubblicato WANDR, acronimo di Wide ANd Deep Research, un nuovo benchmark aperto progettato per valutare quanto gli agenti di intelligenza artificiale siano capaci di svolgere ricerche simili a quelle richieste nelle attività professionali. Il benchmark nasce dalla constatazione che gli strumenti di ricerca AI vengono sempre più utilizzati per analisi della concorrenza, due diligence, ricerche di mercato, confronti tra prodotti, selezione di candidati e revisioni della letteratura. In questi contesti non è sufficiente trovare alcune risposte corrette o produrre un rapporto ben scritto. Il sistema deve individuare un numero elevato di soggetti, raccogliere informazioni complete su ciascuno e collegare ogni dato a una fonte verificabile.
WANDR è stato sviluppato come estensione di DRACO, il precedente benchmark di Perplexity dedicato alla ricerca approfondita. DRACO valutava soprattutto la capacità di produrre un rapporto lungo, accurato e oggettivo su un singolo argomento. WANDR sposta invece l’attenzione sulla raccolta sistematica di decine, centinaia o migliaia di elementi, ciascuno accompagnato dalle relative prove. La differenza rispecchia il tipo di attività affidato agli agenti nei processi reali. Un’impresa che richiede una mappatura dei concorrenti, una verifica societaria o un’analisi del mercato non cerca soltanto una conclusione generale. Ha bisogno di un insieme sufficientemente completo di aziende, persone, prodotti o pubblicazioni e deve poter controllare l’origine di ogni informazione.
Il benchmark è composto da 500 attività realistiche di raccolta dati. Nel complesso richiede la produzione di 170.495 record basati su fonti. Anche un compito di dimensioni medie prevede mediamente l’individuazione di 50 soggetti e la generazione di 245 record verificabili. La struttura valuta contemporaneamente l’ampiezza e la profondità della ricerca. Nella prima fase l’agente deve identificare tutti, o almeno la maggior parte, dei soggetti che soddisfano i criteri richiesti. Nella seconda deve arricchire ogni elemento con le informazioni necessarie e presentare fonti sufficienti a dimostrare ogni affermazione. Un sistema che restituisce soltanto alcuni esempi può produrre risposte corrette, ma non completa realmente il lavoro. Allo stesso modo, un elenco ampio ma privo di prove affidabili non è utilizzabile nei processi nei quali le informazioni devono essere verificate.
WANDR utilizza una struttura gerarchica per rappresentare attività nelle quali i dati dipendono gli uni dagli altri. Un compito può richiedere, per esempio, di individuare una serie di aziende, identificare determinati dipendenti per ogni azienda e collegare a ciascuna persona una pagina web che ne dimostri il ruolo. Questa struttura può essere espressa come una sequenza azienda-dipendente-URL, ma il benchmark supporta anche ricerche annidate, matrici, confronti tra più attributi e richieste nelle quali una singola affermazione necessita di prove differenti.
Uno degli esempi pubblici riguarda le nomine di amministratori delegati e direttori finanziari. Il compito richiede di trovare almeno 70 società statunitensi che abbiano nominato un nuovo CEO o CFO tra il 1° marzo e il 30 aprile 2026. Per ogni società il sistema deve presentare il comunicato ufficiale relativo alla nomina e un’ulteriore fonte capace di dimostrare che l’azienda è quotata su una borsa statunitense oppure soggetta agli obblighi di comunicazione della Securities and Exchange Commission. Per completare integralmente l’attività devono quindi essere prodotti almeno 140 record verificabili.
I prompt non sono stati costruiti soltanto attraverso scenari inventati dai ricercatori. Perplexity ha utilizzato modelli di richiesta anonimizzati, derivati dai comportamenti osservati nel servizio reale, per creare attività simili a quelle che gli utenti affidano concretamente agli agenti di ricerca. Il processo di generazione delle prove è articolato in quattro fasi. La prima, denominata Seeding, estrae i modelli delle richieste reali. Nella fase Author-Critic un sistema AI produce le attività e un secondo ruolo le critica e le modifica attraverso più iterazioni. La fase Admission verifica che le richieste siano effettivamente eseguibili e che possano essere valutate in modo affidabile. La Curation seleziona infine i compiti in base al tema, alla difficoltà e alla varietà, cercando di costruire un insieme rappresentativo di situazioni professionali. Questa metodologia riduce il lavoro manuale necessario per preparare un benchmark così ampio, ma mantiene controlli destinati a escludere attività impossibili, ambigue o non valutabili.
Anche il sistema di valutazione differisce da quello utilizzato nei benchmark tradizionali. WANDR non confronta semplicemente la risposta del modello con un elenco statico di soluzioni predisposte in anticipo. Verifica invece tutte le affermazioni e le fonti presentate dall’agente. Ogni record contiene il soggetto individuato, l’URL utilizzato come prova, un estratto della pagina e la risposta associata. Il sistema di valutazione recupera nuovamente la fonte e controlla che la pagina sia disponibile, che l’affermazione sia pertinente al compito, che l’estratto corrisponda realmente al contenuto e che la prova sia sufficiente a sostenere quanto dichiarato. Le prestazioni vengono misurate attraverso precisione, recall e punteggio F1. La precisione indica quale percentuale delle informazioni presentate sia corretta, mentre il recall misura quanta parte delle informazioni richieste sia stata effettivamente recuperata.
WANDR fornisce due varianti del punteggio F1. Il Soft F1 assegna un punteggio parziale anche quando soltanto alcuni elementi della struttura risultano corretti. L’Hard F1 considera invece valido un record soltanto quando tutti i sottoelementi richiesti sono stati completati correttamente. Questa doppia misurazione permette di distinguere tra un sistema che si avvicina alla soluzione e uno capace di fornire un risultato realmente completo e immediatamente utilizzabile. Il benchmark valuta inoltre separatamente la ricerca dei soggetti e l’estrazione delle prove. In questo modo è possibile stabilire se un agente fallisca perché non trova abbastanza elementi oppure perché, pur avendoli individuati, non riesce a dimostrarli con fonti adeguate.
Perplexity ha utilizzato WANDR per confrontare sei sistemi commerciali di ricerca AI, tra cui il proprio Search as Code, denominato SaC, e prodotti di Anthropic, OpenAI ed Exa. Sull’insieme completo delle 500 attività, SaC ha raggiunto il risultato più elevato, con un Soft F1 pari a 0,363 e un Hard F1 di 0,133. Il sistema di Anthropic ha ottenuto rispettivamente 0,249 e 0,072. Gli altri sistemi valutati non hanno superato un Soft F1 di 0,121 e un Hard F1 di 0,035. I valori mostrano che anche le piattaforme più avanzate riescono a completare soltanto una parte limitata dei compiti quando la valutazione richiede sia copertura estesa sia prove complete. Perplexity ha inoltre modificato il livello di impegno computazionale assegnato ai sistemi. Nella configurazione più elevata, denominata xhigh, SaC ha raggiunto un Soft F1 di 0,447 e un Hard F1 di 0,224.
L’aumento delle risorse non ha però prodotto miglioramenti uniformi. Il sistema di OpenAI ha ottenuto il risultato migliore con l’impostazione high, mentre livelli superiori non hanno determinato ulteriori progressi. In alcuni casi l’Hard F1 è persino diminuito nella configurazione più costosa.Questo comportamento mostra che un numero maggiore di chiamate, token o passaggi di ragionamento non garantisce automaticamente una ricerca più completa. L’agente può produrre più contenuti senza migliorare la copertura, introdurre duplicazioni o aumentare il numero di affermazioni non sostenute da prove sufficienti.
Le differenze economiche tra le configurazioni sono molto elevate. Il livello più economico di Exa ha richiesto appena 0,03 dollari per compito, mentre la configurazione più alta di Gemini è arrivata a 324,83 dollari per singola attività. Il costo non è risultato direttamente proporzionale alle prestazioni. Un sistema molto più costoso può impiegare risorse maggiori senza individuare più soggetti o senza migliorare la qualità delle prove raccolte.
Per valutare un agente di ricerca destinato all’uso aziendale non è quindi sufficiente osservare il punteggio assoluto. Occorre confrontare anche il costo necessario per completare ogni attività, il tempo di esecuzione e il livello di completezza realmente ottenuto. Il principale limite emerso riguarda la copertura. La maggior parte degli agenti riesce a trovare alcune informazioni corrette, ma non raggiunge il numero di elementi richiesto. Il Soft Recall è risultato generalmente inferiore alla Soft Precision. Questo significa che i dati forniti sono spesso corretti, ma costituiscono soltanto una parte dell’insieme che il sistema avrebbe dovuto recuperare. Le prestazioni diminuiscono rapidamente con l’aumento della dimensione del compito. Quando il numero di soggetti cresce o la ricerca richiede più livelli intermedi, precisione e recall nella versione Hard subiscono un calo significativo.
Le strutture gerarchiche sono particolarmente difficili perché ogni passaggio dipende dal precedente. Se l’agente non individua un’azienda, non può trovare i dipendenti associati. Se identifica la persona ma non recupera una fonte valida, l’intero ramo della risposta può essere escluso dalla valutazione più rigorosa. Perplexity individua nella fase di discovery il principale collo di bottiglia. Una volta trovato un soggetto corretto, gli agenti riescono con una frequenza relativamente maggiore ad aggiungere dettagli e a recuperare una pagina pertinente. La difficoltà più rilevante consiste invece nel trovare fin dall’inizio un numero sufficiente di soggetti che soddisfino tutti i criteri. Le ricerche web tendono a presentare i risultati più popolari o più facilmente accessibili, mentre le attività aziendali richiedono spesso una copertura molto più estesa. Un secondo problema riguarda l’estrazione delle prove. Individuare una pagina pertinente non significa necessariamente trovare al suo interno un passaggio che dimostri integralmente l’affermazione.
Nel caso di SaC, considerando soltanto la ricerca dei risultati, il Soft F1 sale fino a 0,531. Quando vengono valutate anche l’accuratezza delle fonti e l’adeguatezza degli estratti, il punteggio scende a 0,363. La differenza mostra che una parte significativa degli errori si verifica dopo il recupero della pagina. L’agente può selezionare una fonte plausibile, ma utilizzare un estratto incompleto, interpretare in modo eccessivo il contenuto oppure presentare una prova che conferma soltanto una parte della dichiarazione. Perplexity attribuisce il risultato di SaC alla struttura programmabile del sistema. Search as Code permette di rappresentare ricerca, filtraggio, esplorazione parallela, combinazione dei dati, eliminazione dei duplicati e condizioni di arresto attraverso procedure simili a un programma.
Le operazioni ripetitive possono essere affidate a passaggi deterministici, mentre il modello AI viene utilizzato per le attività che richiedono interpretazione. Questa separazione dovrebbe rendere più efficiente l’elaborazione di grandi quantità di dati e ridurre l’incoerenza nei passaggi ricorrenti. Un agente esclusivamente conversazionale può modificare strategia durante l’esecuzione, perdere traccia degli elementi già raccolti o interrompere la ricerca prima di aver soddisfatto tutti i requisiti. Una procedura programmata può invece mantenere contatori, controllare i duplicati e continuare finché non viene raggiunta una condizione definita.
I risultati devono comunque essere interpretati tenendo conto del fatto che WANDR è stato sviluppato da Perplexity e che il sistema collocato al primo posto appartiene alla stessa azienda. Il benchmark è aperto e può essere esaminato o riutilizzato, ma confronti indipendenti saranno necessari per verificare la stabilità della graduatoria. Il dato più importante non è il vantaggio di un singolo prodotto, ma il basso livello assoluto delle prestazioni. Anche il sistema migliore raggiunge un Hard F1 di 0,133 nella configurazione ordinaria e di 0,224 con il massimo livello di impegno. Questi valori indicano che una percentuale elevata delle attività non viene completata integralmente quando ogni soggetto, informazione e fonte deve rispettare tutti i requisiti.
Gli agenti di ricerca possono quindi essere utili per accelerare la fase iniziale di raccolta, individuare piste informative e preparare una base di lavoro. Non sono ancora affidabili come sostituti autonomi di un’analisi professionale quando il compito richiede completezza, uniformità e verificabilità su centinaia di elementi. In un processo aziendale, l’assenza di alcune informazioni può essere importante quanto la presenza di dati errati. Una due diligence che omette una parte delle società rilevanti o un’analisi del mercato che considera soltanto i concorrenti più visibili può condurre a conclusioni distorte pur contenendo affermazioni individualmente corrette.
WANDR cerca quindi di spostare la valutazione degli agenti dalla qualità apparente del rapporto alla completezza documentabile del lavoro. La domanda non è soltanto se il sistema riesca a produrre una risposta convincente, ma se abbia trovato tutti gli elementi necessari e se ogni elemento possa essere verificato. Il benchmark mostra che questa capacità rimane lontana dall’essere risolta. Gli agenti più avanzati possono trovare e organizzare grandi quantità di informazioni, ma continuano a incontrare difficoltà nella copertura sistematica, nelle ricerche gerarchiche e nella raccolta di prove complete per ogni affermazione.