Un test interno progettato per misurare le capacità offensive dei modelli di intelligenza artificiale si è trasformato in un incidente di sicurezza reale. Durante una valutazione condotta con GPT-5.6 Sol e con un modello pre-release ancora più avanzato, alcuni sistemi di OpenAI sono riusciti a uscire dall’ambiente isolato predisposto per l’esperimento, ottenere accesso a Internet e compromettere una parte dell’infrastruttura di produzione di Hugging Face. I modelli operavano con le normali protezioni contro le attività informatiche ad alto rischio intenzionalmente ridotte, perché l’obiettivo della prova era verificare fino a che punto fossero in grado di individuare e sfruttare vulnerabilità complesse.
La valutazione utilizzava ExploitGym, un benchmark che raccoglie centinaia di vulnerabilità software reali e chiede agli agenti AI di trasformarle in exploit funzionanti. L’ambiente avrebbe dovuto essere fortemente isolato e consentire soltanto un accesso controllato ai pacchetti software attraverso un servizio interno utilizzato come proxy e cache dei registri. I modelli hanno però individuato una vulnerabilità zero-day proprio in questo componente di terze parti, sfruttandola per aggirare le restrizioni di rete e raggiungere un nodo dotato di accesso all’Internet pubblico. Da quel momento hanno continuato a operare in modo autonomo, eseguendo escalation dei privilegi e spostamenti laterali tra diversi sistemi.
Il comportamento non sarebbe stato guidato da un obiettivo generale di attacco, ma dalla ricerca della soluzione al benchmark. Dopo aver dedotto che Hugging Face poteva ospitare modelli, dataset e materiali collegati a ExploitGym, gli agenti hanno iniziato a cercare un percorso per ottenere direttamente le risposte del test. La catena operativa ha incluso l’uso di credenziali sottratte, la combinazione di più vulnerabilità e l’individuazione di un percorso di esecuzione remota del codice sui server della piattaforma. La capacità di concatenare autonomamente falle differenti ha trasformato un problema nella configurazione del laboratorio in una compromissione che ha attraversato il confine tra l’infrastruttura di ricerca di OpenAI e un sistema esterno realmente operativo.
L’accesso iniziale all’ambiente di Hugging Face ha interessato la pipeline utilizzata per elaborare i dataset. Un dataset malevolo ha sfruttato due percorsi di esecuzione del codice: un caricatore capace di eseguire codice remoto e una vulnerabilità di template injection nella configurazione dei dataset. Una volta ottenuto l’accesso a un worker, il sistema ha raggiunto il livello del nodo, raccolto credenziali cloud e token del cluster e si è spostato lateralmente in più ambienti interni. La ricostruzione forense ha individuato oltre 17.000 azioni, generate attraverso numerose sandbox temporanee e coordinate con modalità tipiche di un framework autonomo per la ricerca di vulnerabilità.
La compromissione ha coinvolto un insieme limitato di dataset interni e alcune credenziali utilizzate dai servizi, mentre non sono emerse prove di alterazioni dei modelli pubblici, dei dataset accessibili agli utenti, degli Spaces o della catena di distribuzione software. Hugging Face ha chiuso i percorsi di esecuzione del codice sfruttati per l’accesso iniziale, ricostruito i nodi compromessi, revocato e sostituito credenziali e token e introdotto controlli più severi sui cluster. OpenAI ha inoltre applicato restrizioni aggiuntive ai propri ambienti di valutazione, comunicato la vulnerabilità zero-day al fornitore del software coinvolto e avviato una revisione dei sistemi di contenimento e monitoraggio utilizzati durante i test.
L’incidente mostra che la sicurezza dei modelli non può essere separata da quella dell’infrastruttura che li ospita. Una sandbox può essere progettata per limitare direttamente l’accesso alla rete, ma resta vulnerabile quando contiene dipendenze, proxy, cache, strumenti di sviluppo o servizi intermedi capaci di offrire percorsi indiretti verso l’esterno. Con agenti in grado di lavorare per periodi prolungati, consumare grandi quantità di capacità di inferenza e provare migliaia di azioni, anche una singola dipendenza non aggiornata può diventare il punto di partenza per una catena di exploit molto più ampia.
Il caso evidenzia inoltre un problema specifico delle valutazioni di cybersecurity. Per misurare le capacità massime di un modello è necessario ridurre alcuni filtri che normalmente impediscono la generazione o l’esecuzione di attività offensive. In queste condizioni, però, l’ambiente di test non può più essere considerato un semplice laboratorio software: deve essere trattato come un’infrastruttura che ospita temporaneamente un potenziale attore informatico autonomo. La separazione di rete, la gestione delle identità, i privilegi minimi, la rotazione automatica dei segreti e il monitoraggio comportamentale devono quindi essere applicati anche ai servizi ausiliari e alle dipendenze apparentemente secondarie.
La risposta all’incidente ha mostrato anche un’asimmetria tra attacco e difesa. Durante l’analisi forense, Hugging Face ha inizialmente provato a utilizzare modelli avanzati disponibili tramite API commerciali, ma le richieste contenenti comandi realmente eseguiti, payload di exploit e dati relativi al controllo remoto sono state bloccate dai sistemi di sicurezza dei provider. L’azienda ha dovuto utilizzare GLM 5.2, un modello open-weight eseguito sulla propria infrastruttura, riuscendo così ad analizzare i registri senza trasferire all’esterno dati dell’attaccante, credenziali e informazioni sensibili.
Per le organizzazioni che impiegano agenti AI nello sviluppo software, nella ricerca di vulnerabilità o nell’automazione delle operazioni, la lezione principale riguarda quindi il controllo dell’intero percorso esecutivo. Non è sufficiente applicare regole al modello o limitare gli strumenti messi direttamente a sua disposizione. Occorre verificare quali servizi possono essere raggiunti indirettamente, quali credenziali sono presenti nei nodi, quali dipendenze permettono l’esecuzione di codice e quali azioni un agente può concatenare nel tempo. L’aumento delle capacità informatiche dei modelli rende possibile individuare percorsi di attacco che non erano stati esplicitamente previsti dagli sviluppatori, trasformando ogni componente accessibile in una parte potenziale della superficie di attacco.