Together AI ha presentato Polymorphic Inference, un’architettura per l’esecuzione dei modelli di intelligenza artificiale progettata per adattare continuamente le configurazioni di inferenza alle caratteristiche dei modelli, al traffico effettivo e all’hardware utilizzato. La prima implementazione è Together Compiler, un sistema basato su agenti AI che genera, prova e seleziona automaticamente ottimizzazioni del motore di inferenza durante il funzionamento dell’infrastruttura. Il sistema è già impiegato in numerosi carichi di produzione della società e in alcuni endpoint serverless, mentre l’accesso diretto per i clienti è previsto attraverso una versione beta limitata. Together AI dichiara che, nelle proprie valutazioni condotte su Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash, il compilatore ha ottenuto prestazioni comprese tra 1,3 e 3 volte i token elaborati al secondo rispetto a configurazioni open source altamente ottimizzate, con un periodo di ricerca delle ottimizzazioni inferiore alle 24 ore. Il principio alla base della piattaforma consiste nel sostituire la configurazione statica dell’inferenza con un processo di ottimizzazione ripetuto e misurato sul comportamento reale del servizio.
La necessità di adattamento deriva dalle variazioni che interessano i carichi di inferenza in produzione. La struttura dei modelli cambia rapidamente, le richieste degli utenti possono presentare lunghezze e caratteristiche differenti e la distribuzione delle operazioni può modificarsi in funzione dell’orario, delle applicazioni e delle risorse hardware disponibili. Together AI ha osservato, per esempio, prompt lunghi circa 97.000 token durante le ore lavorative di un determinato Paese, rispetto a circa 70.000 token in altri contesti. Dopo il rilascio di un modello, la lunghezza dei prompt sarebbe aumentata dell’80% nell’arco di due settimane, in relazione alla diffusione di attività agentiche. Anche picchi improvvisi di utilizzo possono raddoppiare la lunghezza delle richieste e ridurre l’efficacia della cache. In queste condizioni, una configurazione inizialmente ottimizzata può perdere efficienza, soprattutto quando cambiano la concorrenza delle richieste, la disponibilità della memoria e i meccanismi di instradamento dei modelli mixture-of-experts. L’azienda ha quindi ridimensionato la precedente centralità attribuita ai megakernel, che combinano più operazioni in un unico kernel, riconoscendo che la fusione delle operazioni non rappresenta necessariamente la soluzione migliore per tutte le architetture e distribuzioni di traffico.
Together Compiler acquisisce come parametri il modello da eseguire, le caratteristiche dell’hardware e il profilo delle richieste, affidando a più agenti paralleli la generazione e la verifica di differenti configurazioni del motore di inferenza. Un componente persistente mantiene il modello caricato una sola volta e permette di sostituire dinamicamente le implementazioni candidate del forward pass senza riavviare l’intero ambiente. Gli agenti condividono le informazioni mediante una bacheca di comunicazione, mantenendo attive le sperimentazioni anche quando alcuni di essi sono impegnati in attività di ragionamento o nell’utilizzo di strumenti. La valutazione delle configurazioni viene effettuata attraverso due livelli di esecuzione: motori rapidi che caricano soltanto una parte dei livelli del modello per effettuare misurazioni veloci e motori più completi che consentono di verificare le prestazioni su distribuzioni di dati realistiche. Un modello di costo separato combina le specifiche dell’hardware, microbenchmark e misurazioni dei forward pass per restringere lo spazio delle configurazioni di parallelismo prima di utilizzare ulteriori risorse per l’ottimizzazione.
Il processo prevede anche controlli di correttezza prima dell’integrazione delle configurazioni selezionate. Le ottimizzazioni candidate vengono sottoposte a verifiche per individuare eventuali contaminazioni della KV cache e alterazioni nella qualità degli output. I test finali vengono effettuati dopo l’esaurimento del budget di ottimizzazione, quando il codice selezionato viene preparato per l’utilizzo nel motore di inferenza. Un confronto pubblicato da Together AI indica una riduzione del tempo necessario per rendere operativo il motore durante le sperimentazioni da 467 a 9 secondi. Questa misurazione riguarda l’avvio dell’ambiente di serving nel processo di ottimizzazione e non rappresenta una riduzione equivalente della latenza delle singole richieste. L’eliminazione dei ripetuti riavvii consente comunque di aumentare considerevolmente il numero di configurazioni esaminabili. Together AI attribuisce al sistema una capacità di sperimentazione fino a 252 volte superiore rispetto ai sistemi di riferimento di ottimizzazione agentica ricorsiva utilizzati nel confronto.
Le valutazioni tecniche hanno impiegato configurazioni open source di riferimento aggiornate al 30 ottobre 2026, mantenendo fissa la strategia di parallelismo del sistema di confronto per isolare gli effetti dell’ottimizzazione agentica. Per AWS Trainium2 è stato utilizzato un dataset sintetico di conversazioni multi-turno, poiché l’implementazione non supportava ancora livelli di concorrenza più elevati entro la memoria HBM disponibile. La tecnologia è stata inoltre valutata su modelli applicati a meteorologia, biologia, serie temporali ed equazioni differenziali alle derivate parziali, con incrementi prestazionali dichiarati compresi tra 1,5 e 6,4 volte e mantenimento di output identici a livello di bit nei test indicati. La roadmap comprende l’ottimizzazione con un solo clic degli endpoint dedicati, lo speculative decoding adattato al dominio, alle richieste e al carico, e l’instradamento dinamico tra worker e configurazioni hardware differenti. La disponibilità per i clienti rimane inizialmente limitata alla beta, mentre i benefici effettivi dovranno essere verificati sui modelli, sui profili di traffico e sulle infrastrutture dei singoli utilizzatori.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)