Un gruppo di ricercatori dell’Institute of Information Engineering della Chinese Academy of Sciences e della University of Chinese Academy of Sciences di Pechino ha sviluppato un metodo per rimuovere durante la generazione di immagini i personaggi di animazione protetti da copyright senza modificare né sottoporre a fine-tuning il modello generativo utilizzato. Il sistema, descritto nello studio Erase but Preserve: Controllable Removal of Copyrighted Animation Characters via Optimized Semantic Anchors, interviene direttamente nella rappresentazione testuale continua elaborata dal modello, sostituendo il personaggio richiesto con un’“ancora” semantica appositamente ottimizzata. L’obiettivo è conservare forma generale, struttura e composizione della scena, eliminando però i dettagli visivi che rendono riconoscibile il personaggio originale.
Il metodo nasce come alternativa agli approcci che modificano direttamente i parametri del modello o utilizzano negative prompt e filtri basati sulle parole chiave. Le tecniche di ablation possono infatti rimuovere o indebolire un concetto presente nello spazio latente, ma possono contemporaneamente danneggiare altre capacità del modello, mentre i filtri basati sui prompt possono essere aggirati evitando di nominare direttamente il personaggio e descrivendone invece caratteristiche, abbigliamento o aspetto. La nuova soluzione mantiene invariati i pesi del modello e introduce durante l’inferenza embeddings costruiti specificamente per sostituire il concetto protetto, rendendo quindi il meccanismo potenzialmente trasferibile tra differenti architetture.
Il componente centrale è un semantic anchor, cioè un sostituto generico del personaggio. Durante la fase di costruzione dell’ancora, il sistema confronta le informazioni strutturali grossolane prodotte per il personaggio originale con quelle generate per il suo sostituto, facendo convergere le due rappresentazioni verso una forma complessiva simile. Una fotografia di riferimento del personaggio viene però utilizzata contemporaneamente con l’obiettivo opposto: allontanare l’ancora dai dettagli visivi specifici che ne determinano l’identità. Il risultato è quindi una rappresentazione intermedia che mantiene proporzioni e struttura sufficienti a inserirsi correttamente nella scena, ma perde gli elementi distintivi legati al personaggio protetto.
L’ancora viene successivamente trasformata in una rappresentazione interpretabile dal modello di diffusione attraverso il text encoder CLIP. I ricercatori assegnano al token artificiale Anchor* una rappresentazione apprendibile, creando di fatto una nuova entità semantica il cui significato viene ottimizzato in funzione dei vincoli strutturali e dei vincoli relativi ai dettagli. Durante questa procedura il resto del text encoder rimane congelato, mentre i token di inizio, fine e padding forniscono il contesto necessario per convertire la nuova pseudo-parola negli embeddings utilizzati durante la generazione dell’immagine. In questo modo il sistema apprende che Anchor* deve rappresentare qualcosa con una struttura simile al personaggio originale, ma privo degli elementi che consentono di identificarlo.
La sostituzione non viene eseguita immediatamente all’inizio del processo di generazione. Durante il denoising l’algoritmo monitora l’evoluzione della struttura grossolana dell’immagine e attende che la composizione generale inizi a stabilizzarsi. Nei test descritti, il passaggio avviene indicativamente intorno al timestep 720, quando la variazione strutturale raggiunge il massimo e successivamente comincia a diminuire. A quel punto l’organizzazione generale della scena è già definita e il sistema può sostituire gli embeddings relativi al personaggio protetto con quelli dell’ancora, intervenendo quindi prima che emergano i dettagli più fini ma senza alterare significativamente la composizione costruita fino a quel momento.
Per la valutazione è stato costruito un dataset composto da 80 personaggi di animazione che i modelli di diffusione erano in grado di riprodurre in maniera affidabile: 36 personaggi antropomorfi, 23 personaggi con forma animale e 21 appartenenti ad altre categorie. Per ciascun personaggio sono state generate 100 immagini utilizzando prompt prodotti da GPT-4o. Gli esperimenti principali sono stati condotti con Stable Diffusion 1.4, mentre la trasferibilità del metodo è stata verificata anche su Stable Diffusion 1.5, Stable Diffusion 2, Stable Diffusion 2.1, Stable Diffusion XL Base 1.0 e sulla più recente architettura DiT Z-Image. In nessun caso è stato effettuato fine-tuning dei modelli pre-addestrati.
Il sistema è stato confrontato con cinque tecniche basate sui prompt, Safe Latent Diffusion, STG, SAFREE, TraSCE e Negative Prompting. Gli embeddings delle ancore ottimizzate sono stati inoltre integrati con quattro metodi che modificano direttamente i modelli, MACE, UCE, ESD-u e AC, per verificare se potessero migliorarne le capacità di cancellazione. L’efficacia della rimozione è stata misurata utilizzando LLaVA-1.5 e BLIP-3 per verificare se il personaggio continuasse a essere riconoscibile; SSIM è stato utilizzato per misurare la conservazione della struttura, LPIPS per valutare la differenza percettiva e Aesthetic Predictor V2 Score per stimare la qualità visiva. FID e CLIP Score, calcolati anche su prompt indipendenti provenienti dal dataset COCO-30K, sono stati utilizzati per verificare che il normale comportamento generativo del modello non venisse compromesso.
Nei risultati quantitativi, il nuovo metodo ha ottenuto un tasso di identificazione del personaggio del 6,0% con LLaVA-1.5 e del 4,0% con BLIP-3, valori inferiori rispettivamente di 3,5 e 1,7 punti percentuali rispetto al secondo metodo migliore nei test. Sul fronte della conservazione dell’immagine ha ottenuto un SSIM pari a 0,467, il valore più alto tra i sistemi confrontati, e un LPIPS di 0,505, il più basso. Anche l’Aesthetic Predictor V2 Score ha raggiunto il valore massimo tra i metodi di rimozione analizzati, con 5,18, indicando che l’eliminazione dell’identità del personaggio non ha determinato un degrado significativo della qualità visiva complessiva.
I test qualitativi hanno mostrato differenze particolarmente evidenti sui personaggi caratterizzati da forme o attributi visivi complessi, tra cui Donald Duck e Super Mario. In questi casi i metodi basati esclusivamente sui prompt tendevano più frequentemente a lasciare riconoscibile il soggetto o a produrre deformazioni e sfocature, mentre l’utilizzo delle ancore consentiva di sostituire il personaggio mantenendo con maggiore continuità sfondo e composizione circostante. Il sistema permette inoltre di rimuovere più personaggi contemporaneamente all’interno della stessa generazione.
La rappresentazione continua degli embeddings rende anche regolabile l’intensità della rimozione. Interpolando tra l’ancora ottimizzata e l’embedding originale del personaggio è possibile reintrodurre progressivamente alcune caratteristiche dell’identità iniziale utilizzando valori intermedi del parametro α, testati a 0,25, 0,5 e 0,75. Gli esperimenti condotti su Winnie the Pooh, Olaf, Minnie Mouse e Stitch hanno mostrato che la struttura complessiva dell’immagine rimane relativamente stabile mentre aumenta gradualmente la capacità dei modelli multimodali di riconoscere il personaggio. La soglia non è però uniforme: Winnie the Pooh e Stitch tornano riconoscibili in intervalli relativamente ridotti, Olaf e Minnie Mouse presentano una transizione più graduale e Minnie Mouse può essere nuovamente identificata anche con un livello relativamente contenuto di ripristino, indicando che la quantità di rimozione necessaria deve essere calibrata sul singolo soggetto.
La tecnica può inoltre essere utilizzata come componente plug-and-play insieme ai sistemi di modifica del modello già esistenti, ma il suo elemento distintivo rimane l’intervento esclusivamente durante l’inferenza. Il modello generativo conserva quindi tutti i propri parametri originali e il meccanismo di protezione viene applicato attraverso una sostituzione adattiva degli embeddings, separando il controllo dei singoli personaggi dalle procedure di addestramento o modifica permanente del modello. I test effettuati su differenti versioni di Stable Diffusion e su Z-Image mostrano inoltre che il principio non è legato a una singola architettura di diffusione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)