Together AI ha annunciato la disponibilità di Together Post-Training, un servizio infrastrutturale dedicato alla personalizzazione dei modelli linguistici attraverso procedure di reinforcement learning (RL) e supervised fine-tuning (SFT), con controllo diretto dei cicli di addestramento da parte degli sviluppatori. La piattaforma permette alle organizzazioni di definire dati, ambienti di esecuzione, funzioni di ricompensa e sistemi agentici utilizzati durante l’apprendimento, lasciando a Together AI la gestione e l’ottimizzazione dell’infrastruttura computazionale sottostante. Il servizio è progettato per superare le limitazioni delle procedure convenzionali di fine-tuning gestito, nelle quali un esperimento viene generalmente configurato e avviato come processo autonomo, con possibilità limitate di modificare le condizioni operative durante l’esecuzione. Together Post-Training consente invece di intervenire sulle singole fasi dell’addestramento, integrare sistemi esterni di valutazione, registrare metriche personalizzate e modificare dinamicamente il comportamento del ciclo di apprendimento. Al lancio sono supportati i modelli open-weight Muse Spark Open, GLM 5.3, Kimi K3 e Qwen 3.8-27B, con l’intenzione di ampliare progressivamente la selezione includendo sia modelli linguistici di frontiera sia architetture più compatte. Per le prime sei settimane viene applicata una tariffa promozionale di 9 dollari per ora-GPU di utilizzo degli acceleratori NVIDIA B200.
L’infrastruttura è organizzata attraverso unità denominate Model Resources, costituite da allocazioni GPU dedicate a un singolo cliente, senza competizione per la priorità computazionale con richieste provenienti da altri utenti. Ogni Model Resource può ospitare una o più Training Sessions, ciascuna associata a un esperimento di personalizzazione dello stesso modello di base, per esempio a un adattatore LoRA distinto. Questa impostazione permette di condividere le risorse assegnate tra diversi esperimenti e, dove supportato, di eseguire anche procedure di full-weight fine-tuning, che modificano direttamente l’insieme dei pesi del modello invece di intervenire soltanto su matrici di adattamento a basso rango. Ogni sessione comprende un componente Trainer, incaricato di effettuare i passaggi forward e backward, calcolare e propagare i gradienti e aggiornare i pesi, affiancato da istanze Generator che producono le sequenze e le traiettorie necessarie all’apprendimento della policy. Negli esperimenti SFT, nei quali non è necessario generare continuamente nuovi rollout, una risorsa può essere avviata anche senza istanze Generator, riducendo il consumo computazionale. Negli esperimenti RL, invece, gli sviluppatori possono stabilire quando sincronizzare i parametri aggiornati del Trainer con i Generator e utilizzare cicli asincroni per mantenere elevato l’impiego delle GPU anche quando l’esecuzione delle traiettorie agentiche richiede tempi considerevoli.
Together Post-Training supporta l’addestramento mediante LoRA, inclusa la possibilità di mantenere più adattatori all’interno della stessa allocazione GPU, e procedure di aggiornamento completo dei pesi per modelli selezionati. Le funzioni obiettivo disponibili comprendono la cross-entropy, utilizzata comunemente nell’apprendimento supervisionato, e algoritmi di ottimizzazione per il reinforcement learning come Group Relative Policy Optimization (GRPO), CISPO e DPPO. La piattaforma permette inoltre di definire una funzione di perdita personalizzata, calcolarla nell’ambiente locale dello sviluppatore e trasmettere al Trainer i gradienti risultanti, consentendo di implementare strategie di apprendimento differenti da quelle già previste dal servizio. L’accesso alle operazioni avviene attraverso l’SDK di Together, che espone metodi per creare le risorse computazionali e controllare l’esecuzione. La chiamata create provvede al provisioning del Model Resource, mentre create_session avvia una sessione di addestramento associata alla risorsa. All’interno del ciclo operativo, sample_batch genera un insieme di completamenti da sottoporre a valutazione, forward_backward calcola la funzione di perdita e propaga i gradienti, optim_step aggiorna i parametri del modello e weights_sync distribuisce i nuovi pesi alle repliche Generator. Nelle procedure SFT e Direct Preference Optimization (DPO), le operazioni sample_batch e weights_sync non sono necessarie nel flusso previsto, poiché non viene utilizzata la stessa generazione di completamenti propria del ciclo RL.
Il modello commerciale adotta una fatturazione basata sui minuti di utilizzo delle GPU allocate, anziché sul numero di token elaborati. Questa differenza rispetto al servizio tradizionale di fine-tuning di Together AI modifica sia la struttura dei costi sia le modalità di gestione degli esperimenti. Nel fine-tuning convenzionale il cliente paga in funzione dei token processati e il lavoro procede generalmente fino al completamento, mentre nel nuovo servizio può osservare le metriche dopo ogni passaggio, modificare il learning rate, riorganizzare i dati di addestramento, interrompere anticipatamente un’esecuzione oppure introdurre condizioni personalizzate per proseguire con il ciclo successivo. Secondo Together AI, la tariffazione per capacità computazionale può diventare economicamente più vantaggiosa rispetto a quella per token quando gli esperimenti raggiungono dimensioni elevate o richiedono un numero consistente di iterazioni. La disponibilità di risorse dedicate permette inoltre di pianificare esperimenti concorrenti e controllare direttamente il rapporto tra capacità assegnata, velocità di addestramento e numero di sessioni attive.
Un aspetto tecnico affrontato dalla piattaforma riguarda la stabilità dell’apprendimento per rinforzo quando i motori utilizzati per l’addestramento e quelli impiegati per generare le risposte producono risultati numerici leggermente differenti, pur partendo dagli stessi pesi. Queste discrepanze possono determinare fenomeni di policy drift, nei quali la distribuzione delle risposte osservata durante i rollout non coincide esattamente con quella considerata negli aggiornamenti della policy, compromettendo la qualità dell’apprendimento e, nei casi più gravi, provocando il collasso dell’esperimento. Together AI dichiara di aver introdotto meccanismi di sincronizzazione e stabilizzazione che comprendono tecniche come Rollout Routing Replay e ottimizzazioni derivate dalla propria attività di ricerca sulla stabilità dell’addestramento. I motori utilizzati per generare i rollout condividono inoltre diverse ottimizzazioni con l’infrastruttura di inferenza della società, tra cui caching intelligente, instradamento delle richieste per agenti multi-turno, gestione ottimizzata del parallelismo e sequence packing, utilizzato per migliorare l’efficienza computazionale durante le fasi SFT e RL.
La piattaforma comprende anche un percorso di distribuzione dei modelli personalizzati attraverso Dedicated Model Inference, il servizio di inferenza dedicata di Together AI. Una nuova funzionalità di multi-LoRA serving consente di caricare e utilizzare differenti adattatori all’interno della medesima distribuzione GPU, evitando la necessità di avviare un endpoint separato per ciascun esperimento. Gli sviluppatori possono quindi addestrare più adattatori mantenendo congelato il modello di base, collegarli a una singola istanza di inferenza e confrontarne le prestazioni indicando nelle richieste quale adattatore utilizzare. Dopo aver individuato la configurazione migliore, è possibile trasferirla in una distribuzione dedicata attraverso una modalità merged, nella quale l’adattamento viene integrato per l’esecuzione. Together AI afferma che i checkpoint conservano la qualità raggiunta durante l’addestramento anche nel passaggio dal campionamento multi-LoRA all’inferenza con pesi unificati in precisione FP4. Per i modelli GLM-5.3 e Kimi-K3 è previsto un passaggio preliminare di preparazione degli adattatori prima dell’utilizzo in inferenza FP4. Questa procedura consente di separare la sperimentazione di più configurazioni dalla distribuzione definitiva del modello selezionato.
Per facilitare l’adozione, Together AI ha pubblicato una raccolta di esempi nel repository GitHub post-training-cookbook, comprendente implementazioni di GRPO sul benchmark matematico GSM8K, addestramento DPO attraverso una funzione di perdita personalizzata e gestione di più adattatori LoRA sulla stessa risorsa computazionale. I notebook della raccolta illustrano i cicli di apprendimento supervisionato, reinforcement learning e addestramento multi-adattatore mediante le chiamate asincrone dell’SDK. Per gli sviluppatori che utilizzano già l’interfaccia Tinker API è disponibile anche un percorso di migrazione che prevede la sostituzione dell’importazione principale con import together.post_training.tinker as tinker, accompagnata da una guida specifica. Together AI aveva avviato una distribuzione beta del servizio nell’aprile 2026, coinvolgendo progressivamente un gruppo selezionato di organizzazioni prima dell’apertura commerciale.
Tra i primi utilizzatori figura Deel, il cui gruppo di data science ha riferito di essere riuscito ad avviare esperimenti reali di reinforcement learning nell’arco di un paio d’ore, eseguendo fino a cinque esperimenti RL contemporanei sulla stessa capacità GPU. Jack & Jill, società che sviluppa strumenti di selezione del personale basati su agenti, ha utilizzato la piattaforma per addestrare un modello incaricato di prevedere quali candidati un responsabile delle assunzioni potrebbe voler incontrare, una funzione integrata nel processo di ricerca del proprio agente Jill. Secondo l’azienda, il modello open source personalizzato ha raggiunto, nelle valutazioni offline, una qualità comparabile a quella di un modello proprietario chiuso, con costi di inferenza sensibilmente inferiori. Gli ingegneri di Together AI hanno collaborato alla realizzazione degli script necessari per ottenere i primi risultati. Anche Collinear AI ha partecipato alla sperimentazione fin dalla versione beta, evidenziando la possibilità di avviare cicli di reinforcement learning agentico su larga scala attraverso procedure di configurazione autonome. L’offerta comprende inoltre il supporto di ingegneri dedicati che affiancano le organizzazioni nella scelta del modello open-weight, nella definizione degli ambienti e degli agent harness, nella preparazione dei dati, nella progettazione delle valutazioni e nella distribuzione finale di endpoint di inferenza ottimizzati.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)