Perplexity ha presentato PII-TRACE, un benchmark progettato per valutare i sistemi di rilevamento delle informazioni personali identificabili, e PII-Tracer, un modello compatto da 0,6 miliardi di parametri pensato per individuare dati sensibili direttamente sul dispositivo dell’utente prima che il testo venga inviato a modelli eseguiti nel cloud. Le due soluzioni fanno parte dell’architettura di calcolo ibrida sviluppata dall’azienda, nella quale gli agenti cloud gestiscono attività come ricerca, ragionamento e pianificazione, mentre un modello locale può operare sui file privati dell’utente. In questo schema, un livello di controllo eseguito sul dispositivo può trattenere localmente i contenuti sensibili, oscurare le informazioni personali individuate oppure richiedere un’approvazione esplicita prima di inoltrare il testo a un modello remoto. Il sistema dipende però dalla capacità di riconoscere correttamente le PII prima della trasmissione, soprattutto nelle conversazioni lunghe e multilingue in cui lo stesso identificatore può comparire più volte e in turni differenti.
PII-TRACE, acronimo di Tracing Recurring PII Across Conversational Exchanges, comprende 13.148 conversazioni sintetiche tra utenti e assistenti distribuite su 13 lingue e 10 sistemi di scrittura, con 37.431 occorrenze di identificatori annotate a livello di singolo carattere e suddivise in nove categorie di PII. Il 41% delle conversazioni contiene contenuti strutturati e, tra le 5.645 conversazioni con informazioni personali annotate, il 63,8% comprende almeno un identificatore ripetuto più di una volta, mentre il 28,7% presenta identificatori distribuiti su più turni della conversazione. Il benchmark è stato progettato per verificare tre aspetti principali: la capacità del sistema di rilevare tutte le occorrenze dello stesso identificatore, la robustezza su contesti di lunghezza molto diversa, da meno di 1.000 a oltre 100.000 caratteri, e la gestione di conversazioni multilingue o contenenti contemporaneamente testo naturale, codice, tabelle e record strutturati.
La valutazione avviene sia a livello di identificatore sia a livello di carattere. Nel primo caso viene utilizzata una metrica di consistent detection che verifica se il rilevatore ha coperto ogni carattere di tutte le occorrenze associate allo stesso identificatore, distinguendo tra identificatori ripetuti e identificatori presenti in più turni. A livello di carattere vengono invece misurate precision, recall e F1, valutando rispettivamente quanto del testo segnalato dal rilevatore corrisponda effettivamente a PII, quanta parte delle informazioni personali annotate venga individuata e il bilanciamento complessivo tra le due misure.
Il dataset utilizzato da PII-TRACE è sintetico ma deriva dalla struttura di conversazioni reali di produzione. Perplexity ha utilizzato diversi modelli linguistici per individuare nove categorie di PII all’interno delle conversazioni tra utenti e assistenti e ha poi applicato un passaggio basato su regole per associare le occorrenze ripetute dello stesso tipo a un singolo identificatore. I valori originali vengono sostituiti con placeholder tipizzati, i singoli turni vengono parafrasati mantenendo invariati i placeholder e successivamente vengono inseriti valori sintetici coerenti con il tipo e il formato degli identificatori. Tre controlli automatizzati verificano la corrispondenza tra sostituzioni e intervalli annotati, la coerenza dei valori ripetuti e l’assenza dei dati originali attraverso una nuova scansione basata su Microsoft Presidio ed espressioni regolari. Un secondo modello linguistico effettua inoltre un audit su un campione del dataset, mentre gli elementi segnalati come potenziali PII vengono sottoposti a revisione umana.
PII-Tracer è invece un encoder bidirezionale da 0,6 miliardi di parametri adattato a partire da un backbone Qwen3. Perplexity ha modificato l’architettura perché il rilevamento delle PII non richiede la generazione sequenziale di testo, ma l’identificazione precisa degli intervalli contenenti informazioni sensibili. La causal mask di Qwen3 viene quindi sostituita da un meccanismo di attenzione bidirezionale sensibile al padding, permettendo a ogni token di utilizzare informazioni provenienti sia dai turni precedenti sia da quelli successivi all’interno di una finestra di 4.096 token. Per ogni token il modello genera una rappresentazione vettoriale a 1.024 dimensioni, mentre una testa lineare di tagging assegna uno tra 37 possibili label secondo lo schema BIOES utilizzato nel named entity recognition: una classe identifica il testo esterno alle PII e quattro etichette di posizione vengono utilizzate per ciascuna delle nove categorie di informazioni personali. Una testa ausiliaria determina inoltre se la conversazione contiene materiale sensibile, comprese informazioni sanitarie o religiose.
Il modello è stato addestrato per tre epoche su circa 714.000 campioni, combinando conversazioni multilingue con esempi costituiti da singoli record. Durante l’inferenza viene utilizzato un decoder Viterbi vincolato per individuare la sequenza valida di etichette con il punteggio più elevato e ricondurla successivamente agli esatti intervalli di caratteri, che possono essere impiegati per l’oscuramento dei dati o per decidere se mantenere la richiesta sul dispositivo. PII-Tracer non determina direttamente cosa debba accadere dopo il rilevamento: fornisce invece un segnale di controllo alla componente applicativa, che può decidere di mantenere l’input in locale, oscurare le parti sensibili oppure chiedere all’utente il consenso prima di inoltrare il contenuto a un modello cloud.
Nei test condotti da Perplexity su 12 sistemi, PII-Tracer ha ottenuto il valore più alto di character F1, pari a 0,629, oltre al secondo miglior risultato nelle metriche span-overlap F1 e span-containment F1. GPT-5.6-sol e Claude Sonnet 5 hanno mostrato prestazioni complessive comparabili, con GPT-5.6-sol superiore nelle due metriche a livello di span ma inferiore nel character F1. Perplexity evidenzia tuttavia che questi modelli frontier dispongono di centinaia di miliardi o trilioni di parametri, sono proprietari e vengono eseguiti nel cloud, caratteristiche che li rendono inadatti come filtro preliminare per contenuti che devono rimanere sul dispositivo. Gli altri rilevatori PII open source valutati hanno invece ottenuto prestazioni sensibilmente inferiori rispetto a PII-Tracer.
Il test sulla coerenza comprende 899 identificatori presenti una sola volta e 959 identificatori ripetuti, dei quali 790 distribuiti su più turni. PII-Tracer individua tutte le occorrenze del 79,4% degli identificatori ricorrenti e del 77,6% di quelli presenti in turni differenti, mentre GPT-5.6-sol raggiunge rispettivamente il 57,0% e il 55,1%. Le prestazioni diminuiscono con l’aumentare del numero di ripetizioni: il punteggio di PII-Tracer passa da 0,917 sugli identificatori presenti una sola volta a 0,691 per quelli che compaiono da sei a dieci volte.
La lunghezza della conversazione rimane uno dei principali limiti del modello. Utilizzando una singola finestra, il recall è pari a 0,975 per conversazioni inferiori a 1.000 caratteri e a 0,955 tra 1.000 e 10.000 caratteri, ma scende a 0,687 quando il testo supera i 10.000 caratteri. Perplexity ha verificato che elaborando lo stesso checkpoint con finestre scorrevoli sovrapposte al 50%, senza procedere a un nuovo addestramento, il recall complessivo a livello di carattere cresce da 0,830 a 0,965 e il consistent detection sugli identificatori ripetuti passa da 0,794 a 0,954.
Sul piano multilingue, in una valutazione condotta su sei lingue appartenenti agli alfabeti latino, cirillico e Hangul, PII-Tracer ha ottenuto il miglior character F1 in tedesco, con 0,735, francese, con 0,633, italiano, con 0,676, e russo, con 0,651. In inglese e coreano il modello si è invece posizionato rispettivamente entro 0,016 e 0,036 punti dal risultato migliore. In cinque benchmark esterni basati su singoli record, Perplexity segnala inoltre valori di character F1 superiori a quelli dell’OpenAI Privacy Filter in tutti i dataset considerati, compresi 0,950 contro 0,907 su ai4privacy, 0,847 contro 0,709 su Nemotron-PII e 0,594 contro 0,350 su TAB, unico benchmark del gruppo costruito a partire da testo reale annotato manualmente.
Perplexity specifica che i risultati devono essere interpretati tenendo conto della natura sintetica delle conversazioni, ricostruite sulla base della struttura del traffico reale ma non utilizzabili per stimare direttamente le prestazioni su uno specifico workload di produzione. Restano inoltre fuori dall’ambito del benchmark le chiamate agli strumenti, i messaggi scambiati tra agenti e gli input multimodali, mentre ciascun sistema di confronto è stato valutato utilizzando una singola configurazione di inferenza. L’azienda prevede di pubblicare sia PII-TRACE sia PII-Tracer e indica che entrambi saranno distribuiti con licenza MIT, rendendo disponibili benchmark e modello per ulteriori valutazioni e integrazioni in sistemi locali di protezione dei dati.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)