Nvidia ha presentato Nemotron 3.5 Lightning, un modello open-source Mixture-of-Experts da 30 miliardi di parametri progettato per attività agentiche specializzate e ad alto volume, insieme a NeMo Switchyard, una libreria open-source che instrada dinamicamente ogni fase del flusso di lavoro di un agente verso il modello ritenuto più adatto. L’obiettivo è ridurre il ricorso indiscriminato ai modelli di frontiera, che possono rendere molto costose le applicazioni con agenti AI sempre attivi, evitando allo stesso tempo che le aziende debbano costruire e mantenere autonomamente sistemi complessi di routing ogni volta che cambia il workflow.
Secondo Nvidia, Nemotron 3.5 Lightning può raggiungere prestazioni fino a quattro volte superiori rispetto a modelli comparabili della stessa categoria e completa attività agentiche circa il 30% più velocemente di Qwen3.6-35B mantenendo una precisione equivalente. Quando Lightning viene utilizzato insieme a NeMo Switchyard, la società dichiara che il sistema riesce a mantenere percentuali di completamento delle attività vicine a quelle ottenute con modelli di frontiera riducendo al contempo il costo dei benchmark fino a circa un terzo rispetto all’esecuzione di tutte le attività esclusivamente con Opus 4.8.
NeMo Switchyard è stato progettato per modificare il modello utilizzato durante l’esecuzione stessa di un agente. La scelta non viene quindi effettuata soltanto all’inizio in base al tipo generale di attività, ma può cambiare mentre il workflow procede. Lo stato dell’agente si modifica infatti quando uno strumento restituisce nuovi risultati, quando si verifica un errore oppure quando un passaggio inizialmente considerato complesso si rivela semplice e ripetitivo. Un sistema basato su un modello fisso non può reagire a questi cambiamenti, mentre Switchyard può selezionare un modello diverso per ogni fase.
La libreria supporta diverse strategie di routing, comprese selezioni casuali, routing basato sullo stato dell’agente e routing basato su classificatori. All’interno di un pool di modelli disponibili, il sistema può scegliere automaticamente un modello più veloce ed economico come Lightning quando il compito non richiede capacità di frontiera e spostare invece l’elaborazione verso modelli più avanzati quando la complessità aumenta. Anche il costo entra direttamente nella decisione: Switchyard può stimare la verbosità prevista di un modello, cioè quanti token tende a produrre per un determinato compito, e utilizzare questa previsione prima dell’esecuzione per instradare la richiesta verso l’alternativa economicamente più conveniente.
Il sistema non è progettato per sostituire completamente piattaforme e gateway di routing esistenti. Nvidia lo ha integrato con diversi strumenti già utilizzati negli stack agentici. Cognition, LangChain e Nous Research possono richiamare direttamente Switchyard dai propri framework, mentre Kong, LiteLLM e OpenRouter hanno integrato il supporto alla libreria nei rispettivi gateway LLM. Kong ha incluso Switchyard direttamente all’interno di Kong AI Gateway. In questo modo le aziende possono utilizzare il sistema di routing senza dover necessariamente sostituire l’infrastruttura già adottata.
I primi test condotti da partner Nvidia mostrano differenze significative nei costi operativi. LangChain ha riportato una riduzione del 74% del costo su 145 attività Deep Agents multi-turno, indirizzando soltanto il 7% delle chiamate verso un modello di frontiera. Il risultato ha comportato una riduzione della precisione del 6%. Ramp ha invece dichiarato di avere raggiunto prestazioni equivalenti a quelle di un modello di frontiera su Ramp SWE-Bench, riducendo i costi del 58% e i tempi di esecuzione del 33%. Cognition ha integrato il routing a fasi di Switchyard in Devin Desktop per utilizzo interno e ha riportato prestazioni prossime a quelle dei modelli di frontiera su FrontierCode Main con una diminuzione del costo medio del 28% rispetto all’instradamento di tutte le attività verso un singolo modello avanzato.
Nemotron 3.5 Lightning può essere utilizzato anche indipendentemente da Switchyard. Il modello estende l’architettura ibrida Mamba-Transformer introdotta da Nvidia con la famiglia Nemotron 3 nel dicembre 2025 e impiegata anche in Nemotron 3 Super. All’interno di una configurazione agentica multi-modello, Lightning è pensato soprattutto per occupare la fascia caratterizzata da maggiore velocità, costi inferiori e forte specializzazione, lasciando ai modelli più grandi le fasi che richiedono maggiori capacità di ragionamento generale.
Sul benchmark Artificial Analysis Intelligence Index, che aggrega nove differenti valutazioni di capacità generale, Nemotron 3.5 Lightning ottiene un punteggio di 24. Il risultato è equivalente a quello di gpt-oss-120b, ma inferiore ai 30 punti ottenuti da Nemotron 3 Super, Gemma 4 31B, Claude 4.5 Haiku e Mistral Medium 3.5. Nvidia non presenta quindi Lightning come modello leader per capacità generali, ma concentra il confronto sulle prestazioni relative a velocità, precisione e costo negli scenari agentici.
Su PinchBench, benchmark basato su attività reali che comprendono programmazione, ricerca e gestione dei file, Lightning raggiunge la stessa precisione di Qwen3.6-35B completando le attività circa il 30% più rapidamente. Rispetto a Gemma 4 26B, il modello Nvidia raggiunge invece una precisione superiore a parità di tempo di completamento. Il vantaggio dichiarato è quindi legato al rapporto tra accuratezza e velocità di inferenza piuttosto che a un incremento assoluto delle capacità del modello.
Una parte importante dello sviluppo riguarda il post-training e la possibilità di specializzare rapidamente il modello per compiti specifici. Nvidia ha condiviso risultati relativi a quattro partner che hanno utilizzato Lightning in anteprima. CrowdStrike lo ha impiegato per il recupero di contenuti dannosi confrontandolo con Nemotron 3 Super, CodeRabbit per un router di programmazione confrontato con GPT 5.4 Nano, Harvey e Trajectory per attività legali rispetto a Opus 4.6 e Lila Sciences per simulazioni energetiche rispetto a Opus 4.8. Nel caso di CodeRabbit, Nvidia dichiara che la ricetta standard NeMo Auto, addestrata per una sola epoca, ha consentito di realizzare un agente di routing funzionante in circa due ore con un costo di 85 dollari.
La strategia Nvidia si basa sull’integrazione tra un modello open-source economico e un livello di routing altrettanto aperto. Un singolo modello più piccolo riduce infatti il costo soltanto quando può sostituire in modo affidabile il modello di frontiera, mentre un router da solo deve poter disporre di modelli efficienti verso i quali deviare il traffico. Con Lightning e Switchyard, Nvidia controlla entrambi i livelli dello stack mantenendoli disponibili sotto licenze open-source.
In questo ambito Switchyard compete soprattutto con infrastrutture di routing come Not Diamond, già utilizzata per la modalità Auto di OpenRouter, e RouteLLM, framework open-source sviluppato da UC Berkeley e LMSYS. Questi sistemi forniscono il livello di routing ma non dispongono di un proprio modello ottimizzato da utilizzare all’interno dello stesso stack. Nvidia punta invece sull’integrazione tra modello e router come elemento distintivo, pur mantenendo la compatibilità con strumenti e gateway esterni.
Il lancio arriva in una fase di forte crescita dei modelli open-weight. Alibaba, Moonshot, Zhipu e DeepSeek hanno pubblicato negli ultimi mesi modelli aperti competitivi dalla Cina, mentre Meta ha introdotto Muse Glimmer, un modello da 30 miliardi di parametri con licenza Apache 2.0 ottimizzato per agenti. Nemotron 3.5 Lightning entra quindi in un mercato nel quale la disponibilità dei pesi aperti è diventata sempre più comune e nel quale la differenziazione si sta spostando progressivamente verso prestazioni, personalizzazione e integrazione con le infrastrutture agentiche.
Per Nvidia, la personalizzazione rappresenta uno dei principali elementi distintivi di Lightning. Il modello può essere adattato ai workload aziendali attraverso gli strumenti NeMo, permettendo alle organizzazioni di ottimizzarlo per attività verticali anziché utilizzare un unico modello generalista per tutte le richieste. In una pipeline agentica, questa possibilità consente di associare modelli differenti a passaggi specifici del workflow e modificare l’instradamento in base alle condizioni osservate durante l’esecuzione.
NeMo Switchyard introduce quindi un modello di routing dinamico basato sul singolo passaggio dell’agente anziché su assegnazioni statiche definite in fase di progettazione. Il sistema può utilizzare segnali come stato dell’agente, risultati degli strumenti, errori, caratteristiche del task e costo previsto dei token per scegliere il modello da interrogare in quel momento. Per le applicazioni agentiche composte da numerose chiamate consecutive, questa impostazione permette di riservare l’utilizzo dei modelli più costosi soltanto alle fasi nelle quali il loro livello di capacità è effettivamente necessario.
Con Nemotron 3.5 Lightning e NeMo Switchyard, Nvidia estende quindi la propria piattaforma agentica dal livello del modello a quello dell’orchestrazione. Lightning fornisce un’opzione specializzata da 30 miliardi di parametri per workload ad alto volume e sensibili a costi e latenza, mentre Switchyard decide dinamicamente quando utilizzarla e quando passare a modelli più potenti. Entrambi possono essere adottati separatamente, ma la configurazione proposta da Nvidia punta a ridurre il costo complessivo degli agenti attraverso una combinazione di modelli diversi selezionati durante l’esecuzione del workflow.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)