Un gruppo di ricercatori della New York University e dell’Università di Calgary ha sviluppato Deletion Tuning, una tecnica di post-training che permette di migliorare le prestazioni dei modelli linguistici di grandi dimensioni disattivando selettivamente meno dello 0,05% dei pesi originali. La ricerca, pubblicata il 7 novembre 2026 e accettata alla conferenza NeurIPS 2026, introduce un metodo alternativo al fine-tuning completo e alle tecniche di adattamento parametrico come Low-Rank Adaptation (LoRA). Nel fine-tuning tradizionale, i parametri di un modello preaddestrato vengono modificati mediante un nuovo processo di ottimizzazione per migliorarne le prestazioni su attività specifiche. LoRA riduce invece il numero di parametri da addestrare introducendo componenti aggiuntive a basso rango. Deletion Tuning adotta un principio differente: mantiene invariati i valori dei parametri originali e apprende esclusivamente quali connessioni disattivare. Al termine del processo, i pesi selezionati vengono portati a zero, mentre tutti gli altri conservano il valore acquisito durante il preaddestramento. Il risultato è una modifica estremamente limitata della struttura parametrica, senza introdurre nuovi pesi o alterare numericamente quelli conservati.
La metodologia è stata sperimentata su modelli di differenti dimensioni e architetture, comprese le famiglie Llama di Meta e Qwen di Alibaba, utilizzando attività di ragionamento matematico, impiego di strumenti e risoluzione di problemi scientifici. Nel benchmark GSM8K, dedicato alla risoluzione di problemi matematici espressi in linguaggio naturale, un modello Llama da otto miliardi di parametri è passato da un’accuratezza iniziale del 60,27% all’83,55% dopo l’applicazione di Deletion Tuning. Il risultato supera leggermente quello ottenuto attraverso il fine-tuning completo, pari all’83,24%. Una progressione analoga è stata osservata sul modello Qwen3-30B-A3B, basato su architettura Mixture-of-Experts, per il quale la media di accuratezza su sei valutazioni matematiche è aumentata dal 49,41% al 58,54%, rispetto al 58,43% ottenuto con il fine-tuning tradizionale. Il miglioramento non si limita alle attività matematiche. In una valutazione ToolAlpaca condotta su un modello Qwen da sette miliardi di parametri, la capacità di utilizzare correttamente strumenti esterni è aumentata dal 41,24% al 69,07%, superando il 68,04% registrato dal modello sottoposto a fine-tuning completo. Nei test scientifici, le due metodologie hanno prodotto risultati sostanzialmente comparabili.
La ricerca ha esaminato anche la capacità dei modelli di affrontare problemi che non riuscivano a risolvere nella configurazione originale. Consentendo fino a 128 tentativi per ciascun quesito, i ricercatori hanno osservato che alcune attività rimaste irrisolte anche dopo numerosi tentativi del modello iniziale venivano completate dalla versione modificata mediante Deletion Tuning. Il risultato indica che la tecnica non si limita ad aumentare la frequenza delle risposte corrette per problemi già affrontabili, ma può modificare l’insieme delle soluzioni raggiungibili dal modello. Un’altra caratteristica riguarda la conservazione delle competenze generali. L’adattamento di un modello a una nuova attività può provocare il fenomeno del catastrophic forgetting, ossia il deterioramento delle capacità precedentemente acquisite. Dopo il potenziamento delle competenze matematiche, i modelli sottoposti a Deletion Tuning hanno mantenuto risultati medi entro un punto percentuale rispetto alla configurazione originale nelle valutazioni di conoscenza generale, programmazione e rispetto delle istruzioni. Il fine-tuning completo ha invece determinato riduzioni comprese tra 1,3 e 3,1 punti percentuali, mentre altre tecniche di adattamento leggero hanno registrato deterioramenti fino a 5,4 punti. Gli effetti positivi sono stati verificati anche in differenti procedure di post-training, comprendenti supervised fine-tuning, apprendimento per rinforzo e metodi basati sull’autodistillazione.
Il vantaggio più evidente sul piano infrastrutturale riguarda le dimensioni dei dati necessari per conservare l’adattamento. Nel caso del modello Llama 8B, il salvataggio dei pesi risultanti da un fine-tuning completo richiede circa 30,6 GB, mentre Deletion Tuning permette di memorizzare una rappresentazione compressa delle connessioni da mantenere o disattivare in appena 8,4 MB, con una riduzione di circa 3.600 volte. Il modello di base deve comunque essere conservato separatamente e il divario rispetto alle tecniche LoRA risulta meno pronunciato. La procedura non implica quindi una riduzione equivalente della memoria necessaria per caricare l’intero modello in fase di inferenza, ma rende particolarmente compatta la rappresentazione delle modifiche apprese. La capacità di migliorare compiti specialistici eliminando una frazione minima delle connessioni suggerisce che alcuni pesi possano interferire con l’esecuzione di determinate attività e che la loro disattivazione possa rendere più efficaci le rappresentazioni già presenti nel modello. I risultati descrivono una strategia di adattamento che modifica selettivamente il comportamento del sistema intervenendo su un numero estremamente limitato di parametri, mantenendo sostanzialmente intatto il patrimonio di conoscenze acquisito durante il preaddestramento.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)