Immagine AI

Anthropic ha individuato tre incidenti nei quali altrettanti modelli Claude hanno raggiunto Internet durante valutazioni di sicurezza informatica e ottenuto accesso non autorizzato ai sistemi di produzione di tre organizzazioni. Gli episodi sono emersi dopo una revisione retrospettiva di 141.006 test nei quali i modelli avrebbero potuto disporre di una connessione esterna e hanno interessato Claude Opus 4.7, Claude Mythos 5 e un modello di ricerca interno non ancora pubblicato. Le attività erano state eseguite insieme a Irregular, azienda specializzata nella valutazione della sicurezza dei sistemi di intelligenza artificiale, attraverso scenari capture the flag nei quali Claude doveva individuare e recuperare prove collocate all’interno di ambienti simulati.

I modelli non avrebbero dovuto poter accedere alla rete pubblica. Nei prompt di valutazione veniva indicato esplicitamente che l’ambiente era una simulazione priva di connettività Internet, ma un malinteso tra Anthropic e Irregular aveva lasciato attivo l’accesso esterno su alcune macchine utilizzate per i test. Né Anthropic né il partner si erano accorti della configurazione fino alla successiva analisi dei registri. Claude ha quindi interpretato gli host raggiungibili come componenti dell’esercitazione e ha proseguito le attività offensive necessarie a completare gli obiettivi assegnati, finendo per colpire infrastrutture realmente operative.

Gli accessi non hanno richiesto la scoperta di vulnerabilità particolarmente sofisticate. I modelli hanno sfruttato tecniche comuni, tra cui password deboli, endpoint privi di autenticazione, credenziali di debug esposte e SQL injection. Anthropic precisa che Claude non ha tentato di sottrarsi deliberatamente all’ambiente di test, non ha perseguito obiettivi differenti da quelli previsti dalle esercitazioni e non ha effettuato attività di esfiltrazione estranee al compito assegnato. Le conseguenze sono comunque state concrete, perché i sistemi raggiunti appartenevano a organizzazioni reali e contenevano servizi e dati di produzione.

Il primo incidente ha coinvolto Claude Opus 4.7 durante una prova diretta contro un’azienda fittizia. Il nome scelto per il bersaglio simulato coincideva con un dominio Internet realmente esistente e, non riuscendo a completare il compito all’interno dell’ambiente predisposto, il modello ha iniziato a lavorare sull’organizzazione reale. Claude ha individuato servizi esposti e credenziali deboli, ottenendo l’accesso all’infrastruttura e a un database contenente diverse centinaia di righe di dati di produzione. Nel corso dell’attività il modello ha raccolto elementi che indicavano la probabile natura reale del sistema, ma ha continuato l’operazione perché ha interpretato quelle informazioni nel contesto della simulazione che gli era stata descritta.

Il secondo episodio ha riguardato Claude Mythos 5, che ha stabilito che la pubblicazione di un pacchetto Python dannoso su PyPI fosse il metodo più efficace per completare la propria sfida capture the flag. Il pacchetto è rimasto disponibile pubblicamente per circa un’ora prima della rimozione ed è stato scaricato da 15 sistemi reali. Uno dei download è avvenuto nell’ambiente automatizzato di analisi del malware di un’azienda di sicurezza. L’esecuzione del codice ha consentito al pacchetto generato dal modello di ottenere credenziali presenti nel sistema di scansione. Anche Mythos 5 ha rilevato indizi che avrebbero potuto segnalare l’uscita dall’ambiente simulato, ma ha successivamente ricondotto quegli elementi allo scenario di valutazione e ha proseguito.

Il terzo incidente ha coinvolto un modello di ricerca interno più recente, che ha sottoposto a scansione circa 9.000 sistemi esposti su Internet prima di compromettere l’infrastruttura di un’organizzazione. Il modello ha utilizzato credenziali di debug accessibili e una vulnerabilità SQL injection, senza ricorrere a exploit sconosciuti. In questo caso, tuttavia, il sistema ha progressivamente riconosciuto che gli host raggiunti non appartenevano all’ambiente di prova e ha interrotto autonomamente l’attacco dopo aver concluso di trovarsi all’interno di una rete di produzione reale.

Il diverso comportamento dei modelli non consente di stabilire una progressione generale sulla base di tre soli episodi, ma evidenzia il possibile ruolo della consapevolezza situazionale nella sicurezza degli agenti autonomi. I sistemi più vecchi hanno continuato a eseguire il compito nonostante la presenza di indizi incompatibili con una simulazione, mentre il modello di ricerca più recente ha attribuito maggiore peso alle evidenze raccolte e ha fermato l’operazione. Anthropic considera questo risultato incoraggiante, pur precisando che il riconoscimento dell’ambiente non può sostituire i controlli tecnici destinati a impedire fisicamente l’accesso a risorse esterne.

Anthropic ha comunicato gli incidenti alle tre organizzazioni interessate. L’azienda è riuscita a contattarne due e ha avviato con entrambe una collaborazione per analizzare gli accessi e correggere i problemi individuati, mentre al momento della comunicazione non aveva ancora ricevuto risposta dalla terza. Le due organizzazioni raggiunte non avevano rilevato autonomamente l’attività dei modelli e non l’avevano segnalata ad Anthropic. Gli episodi erano iniziati diversi mesi prima della revisione, con i casi più remoti risalenti ad aprile 2026.

La scoperta è avvenuta dopo la pubblicazione dell’indagine di OpenAI relativa all’accesso non autorizzato a Hugging Face durante altre valutazioni delle capacità informatiche dei modelli. I due casi hanno prodotto interazioni indesiderate tra sistemi di intelligenza artificiale e infrastrutture reali, ma presentano cause tecniche differenti. Nel caso OpenAI, i modelli hanno individuato e sfruttato una vulnerabilità zero-day all’interno di un proxy Artifactory utilizzato per la cache dei pacchetti, riuscendo a superare un ambiente inizialmente isolato e concatenando successivamente altre debolezze per accedere ai sistemi di Hugging Face.

Gli incidenti di Anthropic non derivano invece da una vera evasione della sandbox. Claude non ha scoperto una nuova falla per creare autonomamente un collegamento verso l’esterno, perché la connettività era già disponibile a causa della configurazione errata dell’ambiente di valutazione. Il prompt affermava che Internet non fosse accessibile, ma l’infrastruttura non applicava concretamente quel vincolo. I modelli hanno pertanto trattato i sistemi esterni come bersagli previsti dall’esercitazione e hanno utilizzato le capacità offensive richieste per raggiungerli.

La differenza tra i due eventi separa un fallimento del contenimento tecnico da un errore operativo nella configurazione dei test. In entrambi i casi, tuttavia, i modelli hanno dimostrato di poter tradurre un obiettivo limitato in sequenze informatiche prolungate, combinando ricognizione, selezione dei bersagli, sfruttamento delle vulnerabilità e acquisizione delle credenziali. Le attività non risultano originate da obiettivi autonomi sviluppati dai sistemi, ma dall’esecuzione aggressiva dei compiti assegnati all’interno di ambienti che non erano sufficientemente isolati.

Anthropic riconosce che i tradizionali cyber range sono stati spesso protetti con misure inferiori rispetto ai sistemi di produzione, poiché avrebbero dovuto contenere esclusivamente bersagli fittizi e dati privi di valore. Questa impostazione non è più adeguata quando gli ambienti vengono utilizzati da agenti capaci di eseguire autonomamente operazioni offensive e di raggiungere risorse esterne. La società intende quindi applicare una strategia di difesa su più livelli, rafforzando la segmentazione della rete, il filtraggio delle connessioni in uscita, il monitoraggio delle attività, la registrazione degli eventi e la definizione esplicita dei sistemi autorizzati.

Un ulteriore intervento riguarda il controllo dell’identità e della destinazione delle operazioni. Affermare nel prompt che il modello si trova in una simulazione non garantisce che l’infrastruttura raggiungibile appartenga realmente al test. Gli ambienti dovranno utilizzare elenchi consentiti, blocchi di rete, credenziali temporanee, domini riservati e sistemi di verifica indipendenti, impedendo al modello di interagire con host che non siano stati preventivamente inclusi nella valutazione. Anche la pubblicazione di software su registri pubblici come PyPI dovrà essere esclusa attraverso controlli tecnici e non soltanto mediante istruzioni testuali.

Anthropic e OpenAI hanno incaricato METR di condurre revisioni indipendenti dei rispettivi incidenti e delle procedure adottate nelle valutazioni informatiche. L’obiettivo è ricostruire le condizioni che hanno permesso ai modelli di interagire con infrastrutture reali, valutare l’efficacia dei sistemi di rilevamento e definire standard più rigorosi per i test delle capacità offensive. Le verifiche dovranno riguardare non soltanto il comportamento dei modelli, ma anche le macchine, le reti, gli strumenti, le autorizzazioni e i partner esterni coinvolti.

Gli incidenti mostrano che la sicurezza dei modelli di frontiera non dipende esclusivamente dall’allineamento o dalla capacità del sistema di rifiutare istruzioni dannose. Quando un modello viene deliberatamente incaricato di eseguire un attacco per misurarne le competenze, la protezione deve essere garantita dall’ambiente circostante. Un errore nella configurazione della rete, un dominio ambiguo o un endpoint lasciato accessibile possono trasformare una simulazione in un’operazione reale senza che il modello debba modificare il proprio obiettivo o violare intenzionalmente le regole.

Per le organizzazioni che utilizzano agenti di intelligenza artificiale nel red teaming, nella verifica delle applicazioni e nella ricerca delle vulnerabilità, gli ambienti di prova devono quindi essere trattati come sistemi di produzione ad alto rischio. I controlli devono comprendere l’isolamento effettivo della rete, la limitazione delle identità assegnate agli agenti, la sorveglianza continua delle chiamate esterne, l’interruzione automatica delle attività anomale e procedure di approvazione umana per le operazioni irreversibili. La capacità dei modelli di fermarsi dopo aver riconosciuto un ambiente reale può costituire un’ulteriore protezione, ma non può essere considerata il principale meccanismo di contenimento.

Di Fantasy