Una ricerca NVIDIA ha esaminato l’impatto della lunghezza del contesto sulle prestazioni e sui costi di esecuzione dei modelli linguistici, verificando se la conservazione integrale delle conversazioni e dei documenti sia sempre necessaria per completare attività complesse. Gli esperimenti hanno mostrato che la riduzione della finestra di contesto, accompagnata da procedure di compressione delle informazioni rilevanti e recupero selettivo dei documenti, può aumentare sensibilmente la capacità di elaborazione dei sistemi senza determinare necessariamente un peggioramento dei risultati. In un ambiente dotato di GPU NVIDIA H100, la riduzione del limite di contesto di Qwen3 Coder Next da 256.000 a 16.000 token ha prodotto un aumento di sette volte del throughput espresso in token generati al secondo. Con GLM 5.2 e Kimi K2.6 sono stati osservati incrementi rispettivamente di 3,6 e 5,6 volte. Queste misurazioni riguardano la capacità di elaborazione del server e non corrispondono automaticamente a riduzioni equivalenti della durata delle singole attività.
I ricercatori hanno valutato una modalità di gestione delle attività agentiche nella quale lo storico completo delle operazioni non viene continuamente aggiunto alla conversazione. Al termine delle diverse fasi, il sistema produce una sintesi delle informazioni necessarie per proseguire, comprendente lo stato del lavoro, le attività già completate, le condizioni rilevanti e le operazioni successive previste. La sintesi viene quindi trasferita a una nuova conversazione, nella quale il modello riprende l’attività senza dover elaborare nuovamente ogni messaggio e ogni risultato ottenuto dagli strumenti esterni. Gli esperimenti hanno coinvolto Claude Opus 4.5 e GPT-5.6 Sol in sei benchmark di attività prolungate. Per entrambi i modelli sono state valutate 22 configurazioni di compressione e, nella maggior parte dei casi, le prestazioni sono rimaste vicine a quelle ottenute conservando l’intero storico. Le configurazioni che registravano una perdita superiore a due punti percentuali erano al massimo cinque per ciascun modello, mentre in alcune prove la compressione ha prodotto risultati migliori.
Un ulteriore esperimento ha riguardato l’elaborazione di documenti estesi. Invece di inserire integralmente i testi nella finestra di contesto, i documenti sono stati conservati come file esterni e resi disponibili attraverso strumenti di ricerca e recupero delle porzioni pertinenti. Nel benchmark LOONG, che richiede di combinare informazioni distribuite tra documenti differenti, Claude Opus 4.5 ha raggiunto un punteggio medio del 79,3% con una finestra limitata a 16.000 token, rispetto al 70,1% ottenuto utilizzando integralmente i documenti nel contesto. La percentuale di risposte completamente corrette è passata dal 38,9% al 53,4%. Il risultato indica che, nelle condizioni sperimentali esaminate, l’accesso selettivo alle informazioni ha permesso al modello di individuare e utilizzare i contenuti necessari con maggiore efficacia rispetto alla lettura simultanea dell’intera documentazione.
La ricerca ha inoltre valutato una procedura di compressione particolarmente frequente, nella quale lo stato dell’attività viene sintetizzato dopo ogni azione e trasferito a una nuova conversazione prima dell’operazione successiva. Nel benchmark SWE-Bench Verified, Claude Opus 4.5 ha raggiunto il 70,2%, sostanzialmente equivalente al 70,0% ottenuto mantenendo l’intero storico. GPT-5.6 Sol è passato invece dall’84,4% all’82,4%, mostrando una riduzione limitata. Il comportamento non è stato però uniforme tra le architetture. Qwen3 Coder Next, che con lo storico completo aveva raggiunto il 53,0% nello stesso benchmark, è sceso al 3,6% utilizzando una finestra di 16.000 token. I ricercatori hanno attribuito questo peggioramento alla produzione di sequenze di elaborazione particolarmente lunghe, che lasciavano uno spazio insufficiente per svolgere operazioni utili tra una compressione e la successiva.
Sulla base delle sperimentazioni, NVIDIA ha proposto anche il concetto di Semantic State Space Model (SSSM), un’architettura nella quale il modello apprende a rappresentare e aggiornare in linguaggio naturale lo stato corrente dell’attività e il piano operativo, senza dover conservare l’intero storico delle interazioni. Il sistema dovrebbe mantenere una rappresentazione sintetica delle informazioni essenziali e aggiornarla dopo ogni azione. Si tratta tuttavia di una proposta concettuale, non ancora implementata e verificata attraverso benchmark. I risultati disponibili non dimostrano che le finestre di contesto estese siano sempre superflue, ma identificano condizioni nelle quali compressione strutturata, accesso selettivo alle informazioni e gestione dello stato operativo possono mantenere prestazioni elevate riducendo il carico computazionale.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)