OpenAI ha sviluppato GPT-Red, un modello specializzato nella generazione e nell’esecuzione automatica di attacchi contro sistemi di intelligenza artificiale, utilizzato internamente per individuare vulnerabilità e rafforzare le difese dei modelli prima della loro distribuzione. Il sistema opera come un red team artificiale capace di elaborare autonomamente strategie offensive, provarle in ambienti controllati e adattarle in funzione delle contromisure incontrate, senza dipendere dalla definizione manuale di ogni singolo scenario da parte dei ricercatori.
GPT-Red è stato progettato per cercare vulnerabilità legate soprattutto alla prompt injection, all’estrazione di informazioni riservate e alla manipolazione degli agenti che interagiscono con applicazioni esterne. Questi rischi assumono particolare rilevanza nei sistemi agentici, nei quali il modello non produce soltanto testo, ma può consultare siti web, leggere messaggi, utilizzare strumenti software, eseguire codice, accedere a repository e intervenire su servizi collegati. Un’istruzione malevola nascosta all’interno di una pagina, di un’e-mail o di un documento può quindi indurre l’agente a ignorare il compito originario, divulgare dati oppure compiere operazioni non autorizzate.
Per riprodurre queste condizioni, OpenAI ha predisposto ambienti isolati che simulano le applicazioni utilizzate dagli agenti nel lavoro reale. GPT-Red può interagire con browser, pagine web, sistemi di posta elettronica, repository di codice e strumenti esterni, generando attacchi e osservandone gli effetti sul modello sottoposto a verifica. L’esecuzione avviene separatamente dai servizi commerciali e dalle infrastrutture accessibili agli utenti, così che le capacità offensive possano essere sviluppate e sperimentate senza esporre sistemi produttivi o dati reali.
L’addestramento utilizza una struttura di self-play nella quale il modello attaccante e i modelli difensori migliorano contemporaneamente. GPT-Red riceve una ricompensa quando riesce a superare le protezioni, modificare il comportamento dell’agente o ottenere informazioni che dovrebbero rimanere inaccessibili. Il modello difensore viene invece premiato quando riconosce l’istruzione ostile, impedisce l’azione richiesta dall’attaccante e continua comunque a eseguire correttamente il compito legittimo assegnato dall’utente.
Questo ultimo requisito impedisce che la sicurezza venga ottenuta semplicemente aumentando il numero di rifiuti. Un modello che blocca indiscriminatamente pagine, messaggi o strumenti esterni potrebbe risultare resistente agli attacchi, ma perderebbe gran parte della propria utilità operativa. Il processo di addestramento deve quindi distinguere tra contenuti necessari allo svolgimento dell’attività e istruzioni inserite da una fonte non attendibile, mantenendo l’accesso alle informazioni pertinenti e neutralizzando soltanto i tentativi di alterare il comportamento del sistema.
Il miglioramento del modello difensore rende progressivamente più difficile il compito di GPT-Red. Quando gli attacchi già conosciuti smettono di funzionare, il modello offensivo deve modificare il testo, sfruttare nuove combinazioni di istruzioni, costruire catene di manipolazione più articolate oppure cercare vulnerabilità in differenti punti del flusso operativo. Attacco e difesa vengono così inseriti in un ciclo di apprendimento continuo, nel quale ogni nuova protezione produce la ricerca di tecniche offensive più sofisticate e ogni attacco riuscito genera ulteriori dati per l’addestramento delle contromisure.
OpenAI ha impiegato questa procedura durante lo sviluppo di GPT-5.6 Sol, destinando al progetto risorse computazionali paragonabili a quelle richieste da alcune campagne di post-addestramento su larga scala. I dati prodotti da GPT-Red sono stati utilizzati direttamente per addestrare il modello difensore, anziché limitare il sistema a una valutazione conclusiva svolta quando lo sviluppo era già terminato. Il red teaming automatizzato è diventato quindi una componente del processo di miglioramento del modello e non soltanto un controllo eseguito prima del rilascio.
Nelle valutazioni dedicate alla prompt injection diretta, la frequenza delle risposte non sicure di GPT-5.6 Sol è risultata pari a circa un sesto di quella registrata quattro mesi prima con GPT-5.3. Il miglioramento riguarda la capacità di riconoscere istruzioni ostili inserite nel contesto e di continuare a rispettare il comando originale, riducendo il rischio che contenuti provenienti da fonti esterne assumano il controllo dell’agente.
GPT-Red è stato verificato anche in scenari che non facevano parte del proprio addestramento. In una serie di prove ricostruite a partire da precedenti ricerche sulla prompt injection, il sistema ha completato con successo l’attacco nell’84% degli scenari, mentre il gruppo umano di red teaming ha raggiunto un tasso del 13%. Il confronto non indica che il controllo umano sia diventato superfluo, ma mostra la capacità del modello di eseguire rapidamente grandi quantità di tentativi, variare le strategie e individuare combinazioni che potrebbero non emergere durante una valutazione manuale limitata nel tempo.
Le sperimentazioni hanno incluso anche ambienti agentici concreti. In un sistema di distributori automatici gestito mediante intelligenza artificiale, GPT-Red ha cercato di alterare i prezzi, ottenere prodotti costosi e annullare ordini appartenenti ad altri utenti. In prove condotte su un agente capace di eseguire codice, tra cui Codex CLI, il modello offensivo ha tentato di provocare la divulgazione di informazioni sensibili e l’esecuzione di operazioni non previste. Le vulnerabilità individuate sono state comunicate ai responsabili dei rispettivi sistemi affinché potessero introdurre nuove protezioni.
Il processo ha permesso di ridurre anche l’efficacia di attacchi basati sulla simulazione di falsi passaggi di ragionamento. Una tecnica identificata nelle prime fasi riusciva a superare GPT-5.1 in oltre il 95% dei tentativi; contro GPT-5.6 Sol, la stessa famiglia di attacchi ha registrato un successo inferiore al 10%. Nelle prove costruite direttamente da GPT-Red, il tasso di fallimento attribuito al modello difensore è stato ridotto allo 0,05%.
GPT-Red rimane confinato all’infrastruttura interna di OpenAI e non viene distribuito come prodotto o reso accessibile tramite API. La capacità di automatizzare la ricerca di vulnerabilità, costruire prompt malevoli e adattare gli attacchi alle difese potrebbe essere utilizzata per compromettere sistemi di terzi. Per questa ragione, le competenze offensive vengono mantenute separate dai modelli destinati agli utenti, mentre i risultati delle simulazioni vengono impiegati per trasferire ai sistemi commerciali soltanto le capacità difensive.
L’impiego di un modello specializzato nel red teaming consente di anticipare una parte della crescente complessità degli attacchi contro gli agenti autonomi. Più un sistema può accedere a dati, strumenti e applicazioni, maggiore diventa il numero di percorsi attraverso i quali un contenuto ostile può modificarne le azioni. GPT-Red affronta questo problema sottoponendo i modelli a una pressione offensiva continua durante l’addestramento, trasformando ogni vulnerabilità scoperta in un nuovo esempio con cui rafforzare il comportamento del modello successivo.