Baseten ha annunciato il 6 novembre 2026 la disponibilità generale di Serverless Loops, un servizio gestito per il post-training di modelli di intelligenza artificiale open-weight attraverso supervised fine-tuning e reinforcement learning, con fatturazione basata sul numero di token utilizzati durante le operazioni di addestramento e campionamento. La piattaforma è progettata per consentire agli sviluppatori di specializzare modelli esistenti senza dover gestire direttamente l’allocazione delle GPU, i kernel computazionali, la sincronizzazione dei pesi o l’infrastruttura distribuita necessaria all’esecuzione dei processi. L’utente mantiene il controllo sugli obiettivi di addestramento, sulle funzioni di perdita, sui dati e sugli ambienti utilizzati per produrre il segnale di apprendimento, mentre Baseten si occupa dell’esecuzione delle operazioni sottostanti. Il servizio prevede inoltre un percorso di distribuzione dai checkpoint generati durante il training verso Baseten Dedicated Inference, permettendo di trasformare i modelli specializzati in endpoint utilizzabili dalle applicazioni.
L’SDK Python di Loops utilizza adattatori LoRA, o Low-Rank Adaptation, mantenendo congelati i pesi del modello di base e aggiornando soltanto le componenti adattive introdotte durante il fine-tuning. Gli sviluppatori possono selezionare il modello iniziale, il rango LoRA, il learning rate, la funzione di perdita, i dati oppure l’ambiente di interazione e l’algoritmo di addestramento. Il backend gestisce trainer, sampler, aggiornamenti degli adattatori e trasferimento dei pesi. La piattaforma comprende anche un pacchetto di compatibilità per facilitare la migrazione di progetti sviluppati con Tinker, preservando importazioni e principali chiamate di training e sampling. La compatibilità non elimina tutte le modifiche necessarie: il sistema di autenticazione viene sostituito con una chiave API Baseten, i checkpoint vengono restituiti attraverso URL di file paginati, gli input costituiti da immagini devono essere forniti inline e la copertura dei moduli LoRA segue configurazioni specifiche per ciascuna famiglia di modelli. Il pacchetto consente quindi di riutilizzare parte del codice applicativo, ma richiede comunque l’adattamento delle componenti dipendenti dall’infrastruttura originale.
Il catalogo serverless iniziale comprende Qwen/Qwen3.6-35B-A3B e zai-org/GLM-5.3-Flash, entrambi destinati a elaborazioni di testo e immagini, oltre a zai-org/GLM-5.3, utilizzabile per il testo. Tutti e tre supportano sequenze lunghe fino a 262.144 token. Per GLM-5.3, la configurazione long-context non supporta le funzioni di perdita cross_entropy e dpo. I modelli che non rientrano nel catalogo serverless possono essere gestiti attraverso la modalità Dedicated, che offre un insieme più ampio di modelli e controlli relativi al numero di repliche, al riutilizzo di risorse già inizializzate e all’impiego di capacità spot, con fatturazione basata sul tempo di utilizzo delle GPU. Nella modalità Serverless, invece, i processi utilizzano capacità condivisa senza prenotare acceleratori dedicati e vengono fatturati soltanto i token impiegati nelle operazioni di training e sampling. Il tempo trascorso nell’analisi dei risultati, nella modifica delle funzioni di ricompensa o nell’attesa tra un’operazione e quella successiva non produce costi per token.
La scelta automatica della modalità di esecuzione presenta alcune condizioni operative. Quando viene richiesto un modello, un rango LoRA o una lunghezza di sequenza non supportati dal serverless, oppure quando un’esecuzione riutilizza distribuzioni associate a un altro processo, la configurazione predefinita può utilizzare capacità Dedicated. Gli sviluppatori che desiderano evitare questo comportamento possono vincolare esplicitamente l’esecuzione alla modalità Serverless, ottenendo un errore anziché il passaggio a un sistema con fatturazione GPU. La presenza di un modello nel catalogo non garantisce inoltre che il provisioning possa essere effettuato immediatamente: l’accesso dipende dalle abilitazioni del workspace, dalla disponibilità degli acceleratori e dai limiti sul numero di trainer concorrenti assegnati all’organizzazione. Anche la prima richiesta di sampling può richiedere diversi minuti quando è necessario avviare la capacità serverless, un aspetto rilevante soprattutto per gli esperimenti di breve durata.
L’SDK espone operazioni dedicate al calcolo della perdita e dei gradienti, all’aggiornamento degli adattatori, al campionamento e al salvataggio dello stato. Le chiamate principali comprendono forward_backward, optim_step, sample e save_state. La pubblicazione dei pesi utilizzati dal sampler consente di creare un checkpoint distribuibile e un client di generazione collegato a quella specifica versione, mentre save_state conserva le informazioni necessarie a riprendere l’addestramento, comprese quelle relative all’ottimizzatore. I checkpoint rimangono disponibili anche dopo la conclusione delle esecuzioni e possono essere distribuiti attraverso interfaccia CLI, API REST o dashboard. La distribuzione utilizza i pesi del modello di base insieme all’adattatore LoRA addestrato e richiede un token di accesso Hugging Face per il recupero dei pesi iniziali. L’endpoint risultante è compatibile con le API OpenAI e viene fatturato in base alla GPU impiegata finché rimane attivo. Eliminare l’endpoint interrompe il relativo costo computazionale senza cancellare il checkpoint, mentre la semplice disattivazione dell’esecuzione Loops non provoca automaticamente l’eliminazione della distribuzione.
Per la disponibilità generale, Baseten ha introdotto miglioramenti nella gestione degli errori temporanei di rete e dei guasti GPU, ridotto il sovraccarico associato all’avvio dei processi e accelerato il trasferimento dei pesi tra trainer e sampler. La società dichiara che la propria infrastruttura di inferenza in produzione gestisce oltre quindici miliardi di richieste al giorno e mette a disposizione funzionalità di autoscaling, gestione delle distribuzioni e raccolta di metriche operative. Gli utenti possono inoltre scaricare i pesi addestrati nel formato Hugging Face Safetensors. La validazione del servizio comprende test numerici ed esperimenti di reinforcement learning end-to-end basati su τ-bench, con attività relative a retail, compagnie aeree e servizi bancari, seguite da valutazioni su compiti difficili non utilizzati durante l’addestramento. τ-bench verifica la capacità degli agenti di conversare, utilizzare strumenti esterni, recuperare conoscenze e rispettare procedure aziendali, confrontando i risultati con stati verificabili dei database.
Tra gli utilizzi comunicati, NVIDIA ha impiegato la piattaforma per il post-training di Nemotron Super 3.5 VL su attività testuali e visive, ottenendo un incremento dell’accuratezza nella classificazione degli intenti dal 76,8% al 94% e un valore F1 di validazione dell’87% nell’estrazione di informazioni dagli scontrini. La sperimentazione ha incluso anche reinforcement learning per il conteggio degli oggetti nelle immagini. Datadog utilizza tecniche di reinforcement learning agentico multi-turno per sperimentare strategie di addestramento del proprio agente SRE, mentre Ambience Healthcare ha specializzato modelli per correggere errori nelle trascrizioni cliniche e migliorare il riconoscimento della terminologia medica e della formattazione richiesta. LangChain Labs impiega il post-training sulle tracce di esecuzione degli agenti all’interno di LangSmith Engine, includendo attività nelle quali il sistema esamina un repository GitHub, individua un problema e prepara modifiche al prompt o al codice destinate a una pull request. Lo stesso ambiente può utilizzare un modello open-weight più piccolo per classificare gli errori delle tracce in base alla tipologia e alla gravità, oppure per collegarli a problemi già registrati. Gli esempi documentano l’impiego della piattaforma per adattare i modelli a comportamenti applicativi specifici, mantenendo separati i costi del post-training serverless da quelli della successiva inferenza dedicata.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)