Immagine AI

Amazon Web Services ha introdotto il supporto al Full Fine-Tuning (FFT) all’interno di SageMaker AI Serverless Model Customization, il servizio gestito per la personalizzazione dei modelli di intelligenza artificiale. La funzionalità permette di aggiornare l’intero insieme dei parametri di un modello preaddestrato senza dover predisporre direttamente cluster di GPU, configurare le procedure di addestramento distribuito e amministrare le risorse computazionali necessarie. Gli sviluppatori possono specificare il modello di partenza, il dataset e gli iperparametri di addestramento, demandando al servizio l’allocazione dell’infrastruttura e la gestione dei checkpoint. Attraverso il SageMaker Python SDK è possibile selezionare la metodologia di personalizzazione modificando il parametro TrainingType, mantenendo invariata la restante struttura della configurazione.

Il full fine-tuning interviene direttamente sui pesi del modello, mentre la metodologia Low-Rank Adaptation (LoRA) mantiene invariati i parametri preaddestrati e introduce matrici adattive di dimensioni inferiori. Quest’ultima configurazione riduce il fabbisogno di memoria durante l’addestramento, circoscrivendo gli aggiornamenti a uno spazio parametrico più contenuto. AWS ha verificato come la possibilità di modificare integralmente i pesi possa migliorare l’acquisizione di competenze specialistiche, soprattutto in presenza di dataset di dimensioni significative. Le sperimentazioni hanno riguardato, tra le altre applicazioni, la personalizzazione del modello Qwen3-4B attraverso procedure di supervised fine-tuning orientate alla generazione di codice informatico.

Per l’addestramento è stato utilizzato Magicoder-Evol-Instruct-110K, un dataset contenente coppie di istruzioni e risposte relative alla progettazione di algoritmi, al debugging, alle strutture dati e alla programmazione di sistema. I 110.000 esempi sono stati suddivisi in 99.000 elementi destinati all’addestramento, 5.500 alla validazione e altrettanti alla valutazione finale. Amazon Nova Pro è stato utilizzato come modello valutatore per verificare la correttezza semantica del codice prodotto, affiancando questa metodologia alle metriche BLEU, ROUGE e F1 implementate attraverso PRIMECODE. Il benchmark MMLU, comprendente 57 discipline, ha invece consentito di misurare la conservazione delle conoscenze generaliste del modello. Nella configurazione FFT basata su tre epoche di addestramento, AWS ha registrato un livello di correttezza semantica del 90%.

Le sperimentazioni hanno evidenziato anche i rischi associati al fenomeno del catastrophic forgetting, attraverso il quale l’aggiornamento dei parametri può compromettere le competenze precedentemente acquisite. Con learning rate pari o superiori a 5e-5, alcune configurazioni hanno registrato risultati compresi tra il 2% e il 3% nel benchmark MATH e un’accuratezza del 3,6% in MMLU. Tra le configurazioni esaminate, l’impiego di un learning rate di 2e-5, di una fase di warmup pari al 5% e di un global batch size di 8 ha favorito la conservazione delle conoscenze generaliste. Anche l’aumento del numero di epoche oltre le tre ha determinato un peggioramento dei risultati. In una distinta valutazione matematica mediante un modello giudice, LoRA ha ottenuto l’81,5%, rispetto al 79,5% del full fine-tuning.

AWS ha condotto numerosi esperimenti variando dimensioni dei dataset, learning rate, batch size e durata dell’addestramento. I modelli risultanti vengono registrati automaticamente in SageMaker Model Registry attraverso pacchetti versionati, utilizzabili per le successive procedure di valutazione e distribuzione. Tra i modelli a pesi aperti compatibili con la nuova funzionalità figurano DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B e NVIDIA Nemotron 3 Nano 30B A3B. La disponibilità di entrambe le metodologie di personalizzazione all’interno del servizio permette di utilizzare la stessa infrastruttura gestita per confrontare differenti configurazioni di addestramento e selezionare quella più adatta al dataset e alle competenze richieste.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy