Immagine AI

OpenAI ha presentato Performance Factory, un’infrastruttura software interna basata su Codex per automatizzare l’individuazione, la diagnosi e la correzione delle regressioni prestazionali dei servizi che compongono ChatGPT. Il sistema è stato sviluppato a partire dagli strumenti utilizzati dal team di performance engineering, che nel tempo aveva realizzato oltre trenta componenti specializzati per l’analisi delle metriche, dei log, delle tracce di esecuzione, dell’utilizzo della CPU e dell’allocazione della memoria. L’introduzione di Codex ha inizialmente consentito agli ingegneri di delegare parte delle indagini a un agente in grado di interrogare questi strumenti e consultare il codice sorgente. La successiva realizzazione della skill denominata perf-forensics ha permesso di formalizzare le procedure investigative in istruzioni riutilizzabili, attraverso le quali l’agente può ricostruire l’inizio di un rallentamento, identificare le richieste interessate e verificare eventuali correlazioni con aggiornamenti software e modifiche delle configurazioni.

L’architettura di Performance Factory comprende quattro componenti principali che coordinano l’esecuzione delle attività tra agenti e ingegneri. Un servizio centralizzato conserva lo stato delle operazioni e utilizza configurazioni che definiscono le transizioni ammesse tra le differenti fasi di lavoro, associate a istruzioni in formato Markdown. Un meccanismo di dispatch verifica periodicamente la disponibilità delle attività e avvia nuove sessioni Codex quando sussistono le condizioni necessarie per procedere. Un’API interna gestisce l’esecuzione degli agenti in ambienti cloud collegati ai repository e all’infrastruttura di osservabilità di OpenAI, attraverso identità di servizio con autorizzazioni circoscritte e operazioni tracciabili. Il quarto componente gestisce le sottoscrizioni agli eventi esterni, permettendo di sospendere un’attività in attesa della revisione di una pull request su GitHub, del completamento di una distribuzione software o dell’esito dei controlli di integrazione continua. Le informazioni raccolte rimangono associate all’attività e possono essere recuperate da agenti differenti nelle successive fasi dell’elaborazione.

La prima implementazione operativa, denominata Regression Workflow, si attiva quando il sistema di monitoraggio rileva il superamento di una soglia prestazionale. Codex esamina le serie temporali delle metriche, confronta differenti gruppi di richieste e valuta le modifiche apportate ai servizi. Per ridurre il rischio di attribuire erroneamente un rallentamento alla prima spiegazione plausibile, OpenAI ha introdotto una procedura di revisione avversariale nella quale una sessione indipendente di Codex verifica la diagnosi, ricerca evidenze contraddittorie e considera spiegazioni alternative. In una valutazione manuale di cento diagnosi, il 70% è risultato accurato, mentre le rimanenti richiedevano ulteriori approfondimenti. Attualmente, circa il 25% delle diagnosi sottoposte a revisione viene rinviato alla fase investigativa. Una volta verificata la causa, l’agente può predisporre una modifica del codice e aprire una pull request da sottoporre agli ingegneri. Dopo la distribuzione della correzione, una nuova sessione controlla il recupero delle prestazioni rispetto ai valori precedenti.

In poco più di tre mesi, Performance Factory ha gestito oltre 1.700 indagini, identificando le cause di più di 600 regressioni, con una media di 17 investigazioni automatizzate al giorno. Circa 400 diagnosi hanno portato alla formulazione di una proposta correttiva. Una cinquantina di correzioni distribuite in produzione sono state influenzate o hanno coinciso con i suggerimenti degli agenti, mentre circa quindici corrispondevano direttamente alle pull request elaborate da Codex. OpenAI sta sviluppando procedure di valutazione basate su incidenti storici e test sintetici delle prestazioni, utilizzabili per affinare le capacità investigative e verificare le modifiche prima della revisione umana. L’infrastruttura comprende anche un agente incaricato di individuare quotidianamente malfunzionamenti degli strumenti utilizzati dagli altri agenti. Le successive estensioni riguarderanno il monitoraggio proattivo delle regressioni non intercettate dagli avvisi tradizionali, l’individuazione di incrementi anomali nell’utilizzo della CPU e l’ottimizzazione delle configurazioni di autoscaling dei servizi.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy