Un tribunale del lavoro brasiliano ha sanzionato due avvocati dopo avere individuato, all’interno di un atto processuale depositato in giudizio, un’istruzione nascosta pensata per influenzare eventuali sistemi di intelligenza artificiale utilizzati nella lettura o nell’analisi del documento. Il testo non era visibile alla lettura ordinaria perché inserito con caratteri bianchi su sfondo bianco, ma risultava comunque presente nel file e quindi potenzialmente interpretabile da strumenti automatici di estrazione, classificazione o sintesi.
L’episodio riguarda una tecnica nota come prompt injection. In pratica, un documento destinato a essere elaborato da un modello linguistico contiene istruzioni che non appartengono realmente al contenuto informativo del documento, ma cercano di modificare il comportamento del sistema che lo analizza. L’obiettivo può essere quello di indurre il modello a privilegiare una parte, ignorare elementi contrari, attribuire maggiore credibilità a una tesi o produrre una sintesi orientata. Nel contesto giudiziario il rischio è particolarmente rilevante, perché gli atti possono essere letti da strumenti AI usati per ricerca, organizzazione del fascicolo, estrazione dei fatti, classificazione dei documenti o supporto preliminare alla valutazione delle controversie.
Il tribunale ha ritenuto che l’inserimento del comando nascosto non potesse essere trattato come una semplice irregolarità tecnica. La condotta è stata valutata come un tentativo di interferire con il funzionamento di possibili sistemi di intelligenza artificiale impiegati dalla controparte o dall’apparato giudiziario. Il punto centrale della decisione è che l’illecito non dipende dal fatto che il comando abbia effettivamente modificato un output o prodotto un vantaggio nel processo: la violazione nasce già dal tentativo di alterare in modo occulto il trattamento digitale dell’atto.
Questo caso è diverso dalle numerose sanzioni già emerse negli ultimi anni per l’uso di citazioni inesistenti o sentenze inventate da chatbot generativi. In quelle situazioni il problema è l’affidamento dell’avvocato a contenuti non verificati prodotti dall’AI. Qui, invece, l’intelligenza artificiale non viene usata per redigere un atto inesatto, ma viene presa di mira come possibile destinataria di un’istruzione malevola inserita dentro il documento stesso. La vulnerabilità non riguarda quindi solo chi utilizza un modello generativo, ma anche chi riceve file e li sottopone a sistemi automatici.
La tecnica sfrutta una caratteristica strutturale dei modelli linguistici: il sistema non distingue in modo naturale tra un testo che deve essere analizzato e un’istruzione che deve essere eseguita. Se un documento viene passato a un modello insieme a una richiesta come “riassumi questo atto” o “individua le argomentazioni principali”, il contenuto del file può contenere frasi progettate per competere con la richiesta dell’utente o con le istruzioni predisposte dall’applicazione. Un testo invisibile a occhio nudo, ma presente nel livello digitale del documento, può quindi tentare di cambiare priorità, spostare l’attenzione o influenzare la risposta del sistema.
Per gli uffici giudiziari, gli studi legali e le organizzazioni che utilizzano AI per analizzare documenti, il caso mostra che la sicurezza non può limitarsi al controllo degli accessi e alla protezione dei dati. Occorre considerare ogni file esterno come contenuto potenzialmente ostile. PDF, documenti Word, allegati, e-mail, pagine web e trascrizioni possono includere istruzioni nascoste, testo ridotto al minimo, metadati, commenti o elementi non immediatamente visibili che cercano di condizionare il comportamento dell’assistente AI.
Le misure più efficaci richiedono di separare in modo rigoroso le istruzioni dell’applicazione dal contenuto da analizzare, trattare i documenti ricevuti come dati non attendibili e impedire che un modello possa eseguire automaticamente comandi presenti negli allegati. Nei flussi più sensibili diventano rilevanti anche la normalizzazione del testo, l’individuazione di caratteri invisibili, il controllo delle differenze tra testo visualizzato e testo estraibile, la registrazione delle richieste inviate ai modelli e la revisione umana dei risultati che incidono su attività legali o decisionali.
L’uso dell’intelligenza artificiale nel processo può rendere più rapida la consultazione di fascicoli complessi e ridurre il carico delle attività ripetitive, ma introduce una nuova superficie di attacco. Il caso brasiliano evidenzia che un atto giudiziario non deve più essere valutato soltanto per ciò che dichiara alla persona che lo legge. Deve essere verificato anche per ciò che comunica, in modo esplicito o nascosto, ai sistemi automatici chiamati a elaborarlo.