OpenAI sta preparando un aggiornamento di Codex destinato a migliorare in modo sostanziale le prestazioni dell’agente di coding durante sessioni molto lunghe. Il problema riguarda soprattutto l’aumento progressivo dei tempi di caricamento, dell’uso della memoria e del numero di richieste tra client e server man mano che una conversazione accumula centinaia di turni e una quantità crescente di stato operativo. In un test interno condotto su una sessione di 741 turni, il nuovo sistema ha ridotto il tempo di caricamento da 27,6 secondi a 1,7 secondi, con un miglioramento di circa il 94%.
Nello stesso scenario, la crescita della memoria utilizzata dal renderer è stata ridotta di circa l’88%, mentre il numero di richieste effettuate tra server e client è diminuito di circa il 98%. Questi valori indicano un intervento non limitato alla velocizzazione dell’interfaccia, ma esteso al modo in cui Codex conserva, aggiorna e trasferisce lo stato delle sessioni prolungate. La modifica punta quindi a evitare che ogni nuovo passaggio di una conversazione particolarmente estesa comporti un costo crescente in termini di memoria locale, rendering e traffico necessario per ricostruire il contesto dell’attività.
Per un agente di coding questo aspetto è particolarmente rilevante perché il lavoro non si esaurisce nella generazione di singoli frammenti di codice. Codex può seguire una sequenza composta da analisi della struttura di un progetto, apertura e modifica di più file, esecuzione di test, correzione degli errori e prosecuzione dell’attività sulla base dei risultati intermedi. In sessioni di questo tipo, il numero di interazioni può crescere rapidamente e la cronologia diventa parte integrante dello stato operativo dell’agente. Il deterioramento delle prestazioni con l’aumentare dei turni rappresenta quindi un limite concreto per attività che richiedono continuità e numerosi passaggi consecutivi.
Il test a 741 turni è stato utilizzato proprio per misurare il comportamento in una condizione estrema rispetto alle normali conversazioni brevi. Portare il caricamento al di sotto dei due secondi anche in una sessione di queste dimensioni significa ridurre sensibilmente il costo operativo legato alla crescita della cronologia. La diminuzione del numero di richieste client-server suggerisce inoltre una revisione del meccanismo con cui vengono sincronizzate o recuperate le informazioni necessarie alla visualizzazione e alla prosecuzione del lavoro, evitando di trasferire ripetutamente una quantità eccessiva di dati.
L’aggiornamento è particolarmente rilevante per le attività di coding che richiedono molte operazioni consecutive, come refactoring di grandi porzioni di codice, debugging distribuito su più file, automazione dei test e implementazione di funzionalità che coinvolgono l’intero progetto. In questi casi l’agente deve mantenere continuità tra numerosi passaggi e utilizzare informazioni prodotte molto prima nella sessione. Una gestione più efficiente della cronologia riduce la probabilità che il carico dell’interfaccia o la memoria utilizzata dal client diventino il collo di bottiglia prima ancora del modello.
Le modifiche intervengono quindi su un limite infrastrutturale degli agenti di coding di lunga durata. Man mano che questi sistemi vengono utilizzati non soltanto per rispondere a una singola richiesta ma per eseguire sequenze composte da decine o centinaia di operazioni, diventa necessario mantenere stabile l’ambiente anche quando il contesto operativo cresce. In questo scenario la prestazione non dipende esclusivamente dalla capacità del modello di generare codice corretto, ma anche dall’efficienza con cui l’applicazione gestisce la cronologia, il rendering degli eventi, la memoria e la comunicazione con il server.
L’aggiornamento è previsto nel corso della settimana e deriva da un lavoro interno dedicato specificamente alle sessioni prolungate. I dati disponibili mostrano quindi una riduzione del 94% dei tempi di caricamento, dell’88% della crescita della memoria del renderer e del 98% delle richieste client-server in una conversazione di 741 turni. L’intervento punta a rendere Codex più stabile quando viene utilizzato per attività continuative e complesse, mantenendo tempi di risposta dell’interfaccia e consumo di risorse molto più vicini a quelli delle sessioni brevi anche dopo centinaia di interazioni.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)