Un gruppo di ricerca del Korea Advanced Institute of Science and Technology ha sviluppato Buffer-and-Reinforce, un framework destinato a limitare la perdita dei meccanismi di sicurezza durante la personalizzazione dei modelli linguistici di grandi dimensioni. Il sistema interviene direttamente nel processo di fine-tuning e utilizza moduli LoRA separati per impedire che i dati dannosi modifichino il comportamento del modello, conservando al tempo stesso le nuove capacità apprese sui dati dell’utente.
Il lavoro è stato condotto dal gruppo del professor Changick Kim della School of Electrical Engineering del KAIST. Seokil Ham figura come primo autore, insieme a Jaehyuk Jang e Wonjun Lee. La ricerca è descritta nel lavoro “Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models”, selezionato come presentazione Spotlight all’International Conference on Machine Learning 2026. Secondo il KAIST, questa selezione ha riguardato circa il 2,2% dei lavori presentati alla conferenza.
Buffer-and-Reinforce è stato progettato per gli scenari Fine-tuning-as-a-Service, nei quali un fornitore mette a disposizione un modello preaddestrato e consente agli utenti di adattarlo mediante dataset personali o aziendali. Il problema affrontato riguarda la possibilità che il fine-tuning riduca la capacità del modello di rifiutare richieste pericolose, soprattutto quando i dati forniti dall’utente comprendono coppie di domande e risposte dannose.
Il framework utilizza tre componenti modulari denominate BufferLoRA, ReinforceLoRA e UserLoRA. BufferLoRA e ReinforceLoRA vengono preparati dal fornitore prima dell’avvio del servizio e possono essere riutilizzati nelle successive sessioni di personalizzazione. UserLoRA viene invece addestrato separatamente sui dati specifici di ciascun utente.
BufferLoRA viene applicato temporaneamente al modello base durante il fine-tuning. La sua funzione consiste nell’attivare uno stato assimilabile a un jailbreak controllato, nel quale il modello risulta già convergente rispetto ai comportamenti dannosi. Il modulo rimane congelato durante l’addestramento e non viene aggiornato insieme ai dati dell’utente.
L’utilizzo di uno stato temporaneamente sottoposto a jailbreak deriva dall’analisi dei gradienti condotta dal gruppo del KAIST. I ricercatori hanno rilevato che, in questa configurazione, i gradienti responsabili del deterioramento della sicurezza risultano in larga parte saturati. Il modello dispone quindi di una capacità ridotta di assorbire ulteriori comportamenti dannosi durante il fine-tuning.
La saturazione non impedisce tuttavia l’apprendimento delle informazioni utili. L’analisi effettuata su campioni del dataset matematico GSM8K ha mostrato che i gradienti collegati alle attività innocue mantengono norme e direzioni comparabili a quelle osservate nel modello originale allineato. Il modello temporaneamente sottoposto a jailbreak conserva quindi la possibilità di acquisire nuove capacità operative dai dati legittimi.
Durante il fine-tuning, al modello vengono collegati contemporaneamente BufferLoRA e UserLoRA. BufferLoRA rimane fisso e impedisce che gli aggiornamenti dannosi vengano trasferiti nel nuovo adattatore, mentre soltanto UserLoRA viene addestrato sul dataset dell’utente. Quest’ultimo registra principalmente le informazioni e le capacità pertinenti al compito personalizzato.
Il modello base rimane congelato per tutta la procedura. Le modifiche vengono quindi concentrate negli adattatori a basso rango, evitando di aggiornare direttamente tutti i parametri del modello linguistico. Questa architettura mantiene separati i pesi originali, il meccanismo temporaneo di protezione e le conoscenze apprese per il singolo utente.
Al termine del fine-tuning, BufferLoRA viene rimosso. Poiché il jailbreak era contenuto in un adattatore separato e reversibile, la sua eliminazione riporta il modello base alla precedente configurazione di sicurezza. UserLoRA conserva invece le capacità apprese durante la personalizzazione.
Il secondo passaggio utilizza ReinforceLoRA, un adattatore addestrato preventivamente per ripristinare e rafforzare il comportamento di rifiuto nei confronti delle richieste pericolose. Per prepararlo, il modello viene prima posto nello stato temporaneamente sottoposto a jailbreak tramite BufferLoRA. ReinforceLoRA viene quindi addestrato a produrre risposte di rifiuto alle richieste dannose, mentre il modello base e BufferLoRA rimangono congelati.
L’addestramento di ReinforceLoRA comprende sia richieste pericolose associate a risposte di rifiuto sia richieste innocue accompagnate da risposte appropriate. L’inclusione dei dati innocui impedisce al modulo di produrre un comportamento eccessivamente restrittivo nel quale il modello rifiuterebbe indiscriminatamente anche le richieste legittime.
Dopo la personalizzazione, ReinforceLoRA non viene semplicemente sommato a UserLoRA. I due adattatori possono contenere direzioni parametriche incompatibili, con il rischio che il rafforzamento della sicurezza alteri le funzioni appena apprese oppure che le nuove capacità dell’utente indeboliscano nuovamente le protezioni.
Per risolvere il conflitto, Buffer-and-Reinforce utilizza una fusione ortogonale basata sulla decomposizione QR. Il contributo di ReinforceLoRA viene proiettato rispetto al sottospazio rappresentato da UserLoRA, in modo da eliminare le componenti che interferirebbero con le capacità personalizzate. Il modulo di sicurezza proiettato viene quindi unito a UserLoRA e applicato al modello originariamente allineato.
La decomposizione QR permette quindi di separare le direzioni associate all’apprendimento del compito da quelle dedicate al rafforzamento della sicurezza. Il modello finale conserva il sottospazio delle competenze acquisite dall’utente e incorpora soltanto le componenti di ReinforceLoRA che non compromettono tale apprendimento.
BufferLoRA e ReinforceLoRA vengono addestrati una sola volta prima della distribuzione del servizio. Non devono essere ricreati per ogni utente e possono essere riutilizzati nelle diverse procedure di fine-tuning. Durante la personalizzazione individuale viene addestrato soltanto UserLoRA, riducendo il lavoro aggiuntivo richiesto dal sistema di protezione.
Il framework non richiede inoltre che l’utente fornisca dati specifici per il riallineamento della sicurezza. Il fornitore prepara in anticipo i due adattatori di protezione utilizzando il proprio dataset, mentre il dataset dell’utente può contenere una combinazione non nota di informazioni innocue e dannose. Il metodo è stato costruito assumendo che il fornitore non conosca preventivamente la composizione né la distribuzione dei dati utilizzati per la personalizzazione.
La valutazione ha esaminato differenti proporzioni di dati dannosi e dimensioni variabili dei dataset. Nei test con dataset compresi tra 500 e 2.500 campioni, Buffer-and-Reinforce ha registrato un Harmful Score medio dell’8,6% e un’accuratezza media nel compito di fine-tuning del 76,7%. Il fine-tuning supervisionato privo di protezioni ha prodotto invece un Harmful Score medio del 74,7% e un’accuratezza del 69,7%.
Con 500 campioni, il framework ha ottenuto un Harmful Score dell’8,5% e un’accuratezza del 75,1%. Con 2.500 campioni, il punteggio relativo alle risposte dannose è rimasto al 9,1%, mentre l’accuratezza è stata pari al 76,7%. I risultati indicano che l’aumento della quantità di dati non ha prodotto un deterioramento rilevante delle protezioni nel modello personalizzato.
Il sistema è stato testato anche in una configurazione estrema nella quale tutti i dati dell’utente erano costituiti da domande e risposte pericolose. Dopo il fine-tuning, la percentuale di risposte dannose è rimasta vicina all’8%, inferiore al valore di circa il 18% misurato sul modello originale non personalizzato.
Negli esperimenti con dataset più estesi basati su GSM8K, comprendenti fino a 7.000 campioni, Buffer-and-Reinforce ha mantenuto un Harmful Score medio dell’8,9% e un’accuratezza media del 76,7%. Nella stessa configurazione, il fine-tuning supervisionato standard ha ottenuto rispettivamente il 30,5% e il 71,3%.
Il confronto con altre tecniche di fusione degli adattatori ha mostrato risultati differenti tra sicurezza e conservazione delle capacità. TIES-Merging ha raggiunto un Harmful Score del 7,9% e un’accuratezza del 74,8%, mentre LoRA-LEGO ha ottenuto rispettivamente il 6,4% e il 74,2%. Buffer-and-Reinforce ha registrato un Harmful Score dell’8,4%, ma ha mantenuto un’accuratezza superiore, pari al 77,5%.
La fusione QR è stata confrontata anche con SafeLoRA. Nel test riportato, SafeLoRA ha ottenuto un Harmful Score del 18% e un’accuratezza del 63,3%, mentre Buffer-and-Reinforce ha raggiunto valori rispettivamente dell’8,4% e del 77,5%.
La preparazione iniziale dei moduli BufferLoRA e ReinforceLoRA ha richiesto circa 30 minuti di tempo GPU e 41,10 GB di memoria. La fase di fine-tuning dell’utente ha impiegato 3,93 minuti e 39,11 GB, valori uguali a quelli del fine-tuning supervisionato standard riportato nel confronto. La fase successiva di fusione e rafforzamento ha richiesto circa 0,25 minuti e 26 GB di memoria GPU.
Poiché i due moduli di protezione iniziali vengono preparati una sola volta e riutilizzati, il costo ricorrente per ogni nuovo utente è concentrato nell’addestramento di UserLoRA e nella breve fase di fusione successiva. Il framework non introduce ulteriori dataset di sicurezza durante la personalizzazione e non modifica direttamente i pesi del modello base.
Buffer-and-Reinforce produce infine un modello composto dal modello base originariamente allineato, dall’adattatore UserLoRA contenente le capacità personalizzate e dalla parte ortogonalizzata di ReinforceLoRA. BufferLoRA non è presente nel modello distribuito e lo stato temporaneo di jailbreak rimane confinato alla sola procedura di addestramento.