Lasso Security ha pubblicato uno studio dedicato agli effetti comportamentali del watermarking testuale nei modelli linguistici, rilevando che l’inserimento di un watermark può modificare sia la probabilità con cui un modello rifiuta una richiesta dannosa sia le chiamate agli strumenti generate da un agente AI. La ricerca, intitolata The Provenance Tax: Understanding the Impact of LLM Watermarking on AI Agent Behavior, definisce questo fenomeno “sampling drift”, cioè una variazione nel comportamento causata dal modo in cui il watermark interviene nella selezione dei token successivi durante la generazione. Il lavoro si concentra in particolare su SynthID-Text, il sistema sviluppato da Google DeepMind e adottato da Anthropic per i futuri modelli Claude nell’ambito degli obblighi di marcatura dei contenuti sintetici previsti dall’AI Act europeo.
SynthID-Text utilizza una configurazione non-distortionary, progettata per preservare in media la distribuzione originaria dei token del modello attraverso la casualità del watermark. Questo significa che, considerando un numero sufficientemente ampio di generazioni, la qualità complessiva del testo può rimanere sostanzialmente invariata, ma non implica che ogni singola generazione ottenuta con una chiave di watermark fissa sia identica a quella prodotta senza watermark. Il meccanismo può infatti modificare quali token vengono effettivamente selezionati in un determinato passaggio e, in un sistema agentico, una variazione apparentemente minima può influenzare non soltanto il testo prodotto, ma anche il nome dello strumento scelto, il percorso, il destinatario, la query, l’importo o altri argomenti passati a una funzione.
Lo studio ha utilizzato un disegno sperimentale accoppiato, confrontando per ogni elemento una generazione con SynthID e una senza watermark mantenendo identici seed, batch, ordine di generazione e temperatura. Per la valutazione delle tool call è stato impiegato il benchmark BFCL v4 single-turn AST, mentre il comportamento di rifiuto è stato misurato su 200 comportamenti dannosi provenienti da HarmBench e 100 controlli benigni di JailbreakBench. Le richieste dannose sono state testate sia nella forma originale sia sotto una tecnica di prompt injection fissa, che inseriva nel prompt un’istruzione avversaria presentata come contenuto recuperato e affermava che il filtro di sicurezza fosse stato disabilitato.
Gli esperimenti sono stati eseguiti utilizzando il SynthIDTextWatermarkLogitsProcessor non modificato di Hugging Face, configurato con 30 Tournament layer, n-gram di lunghezza 5, una sampling table di 2^16 elementi e una context history pari a 1.024. La stessa tecnica di injection e la stessa configurazione di watermark sono state applicate a tutti i modelli e a tutte le temperature, in modo che il watermark processor rappresentasse l’unica variabile all’interno di ciascuna coppia di test.
Nei task nei quali era prevista una chiamata a uno strumento, il watermarking ha ridotto l’accuratezza in sei dei sette modelli analizzati, con una diminuzione statisticamente significativa in quattro casi. Poiché un errore introdotto dal watermark può essere compensato statisticamente da una chiamata che passa da errata a corretta, i ricercatori hanno misurato anche il paired disagreement, indicato nello studio come “churn”, cioè la quota di elementi per i quali la versione con watermark e quella senza watermark producono esiti differenti. Su un insieme fisso di 1.150 task che richiedevano una tool call, a temperatura 1,0 phi-4 ha mostrato un churn del 16,8% a fronte di una perdita netta di accuratezza di 2,87 punti percentuali, mentre Llama-3.1-8B ha registrato un churn del 9,9% con una perdita netta di 0,87 punti. Considerando tutte le 21 combinazioni modello-temperatura, il churn medio è stato del 6,5%.
La tipologia degli errori varia tra i modelli. Per Llama-3.1-8B la componente principale della riduzione di accuratezza è stata rappresentata da argomenti errati nelle chiamate agli strumenti, con un impatto di -3,48 punti percentuali, seguita dalla selezione dello strumento sbagliato con -1,84 punti. Per phi-4 e Granite-3.2-8B hanno invece pesato maggiormente gli output malformati, rispettivamente con -5,96 e -4,36 punti. Questo tipo di errore è particolarmente rilevante negli agenti perché una chiamata formalmente valida e indirizzata allo strumento corretto può comunque essere eseguita fino in fondo utilizzando un percorso, un destinatario, una query o un valore diversi da quelli previsti.
Il watermark ha prodotto variazioni anche sul comportamento di rifiuto. Sulle richieste dannose presentate senza manipolazioni, le differenze risultano già osservabili, ma diventano più marcate in presenza di prompt injection, con diversi casi nei quali il modello passa dal rifiuto alla compliance. A temperatura 0,001, per gemma-3-27b il churn è salito dal 6,0% sui prompt dannosi non modificati al 23,5% sotto injection, mentre il cambiamento netto nella compliance è passato da -1,0 a +12,5 punti percentuali. Per gemma-3-12b il churn è passato dal 7,5% all’11,0% e la variazione nella compliance da -0,5 a +9,0 punti. Llama-3.1-8B ha mostrato un churn del 14,0% a temperatura 0,001 e del 17,5% a temperatura 0,7 sotto injection, anche se la variazione netta non è risultata individualmente significativa.
Phi-4 e Qwen3-4B hanno mostrato variazioni ridotte in entrambe le condizioni, ma lo studio segnala che entrambi tendono anche a rifiutare eccessivamente le richieste, comprese quelle benignamente formulate, per cui la minore oscillazione non viene interpretata come prova di una stabilità generale del comportamento di sicurezza. Per contestualizzare l’effetto, i ricercatori hanno inoltre confrontato il churn prodotto dal watermark sotto prompt injection a temperatura 0,7 con quello ottenuto modificando semplicemente la temperatura da 0,001 a 0,7 senza watermark. In quattro dei sei modelli il churn causato dal watermark è risultato significativamente superiore; Granite-3.2-8B, per esempio, ha mostrato un churn del 15,5% dovuto alla variazione di temperatura e del 21,5% dovuto al watermark.
Un ulteriore elemento riguarda la sensibilità alla chiave utilizzata per generare il watermark. Lo studio ha testato undici chiavi a temperatura 0,7 e ha rilevato variazioni consistenti tra configurazioni diverse. Per Llama-3.1-8B la chiave usata nell’esperimento principale ha aumentato il successo degli attacchi di 3,5 punti percentuali, mentre le altre dieci hanno prodotto in media un aumento di 4,4 punti, con risultati compresi tra -4,5 e +14,5 punti. La maggior parte delle chiavi ha incrementato l’attack success rate nei due modelli Gemma rispetto al baseline senza watermark, mentre Granite-3.2-8B ha mostrato un comportamento misto, con alcune chiavi che aumentavano e altre che riducevano il successo degli attacchi.
La dipendenza dalla chiave rende il fenomeno particolarmente rilevante nei sistemi nei quali il watermark viene applicato direttamente dal provider del modello. In queste configurazioni lo sviluppatore che costruisce l’agente può non avere controllo sulla chiave o sulla configurazione utilizzata, pur subendone gli effetti sulla selezione dei token e quindi sul comportamento dell’applicazione. Il problema non riguarda soltanto il testo visibile all’utente, perché nei sistemi agentici le stesse sequenze di token possono determinare anche le azioni che verranno eseguite.
Gli autori raccomandano quindi di ripetere benchmark, valutazioni agentiche e attività di red teaming utilizzando esattamente la configurazione di watermark prevista per la produzione. Tra le verifiche suggerite figurano confronti diretti tra output con e senza watermark sugli stessi input, test specifici delle tool call e prove sotto prompt injection. Lo studio non sostiene che il watermarking debba essere abbandonato come strumento per identificare la provenienza dei contenuti, ma distingue esplicitamente la proprietà di rilevabilità del watermark dalla stabilità comportamentale del modello: un sistema può mantenere invariata la qualità media del testo e risultare comunque diverso nelle decisioni operative prese durante una singola generazione.
Il lavoro osserva infine che il problema non è specifico esclusivamente di SynthID-Text. Qualsiasi intervento che modifichi il processo di selezione dei token può in linea di principio introdurre variazioni analoghe in un sistema che utilizza direttamente quei token per prendere decisioni, scegliere strumenti o costruire i relativi argomenti. Nel caso degli agenti AI, il watermarking deve quindi essere valutato non soltanto come meccanismo di provenienza del testo, ma anche come componente capace di alterare il comportamento operativo del modello durante l’esecuzione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)