Cathedral, startup statunitense di cybersicurezza fondata da ex membri del Department of Government Efficiency, ha individuato attraverso agenti di intelligenza artificiale un percorso di accesso non autorizzato ad alcuni sistemi interni utilizzati da Anthropic. L’attività di ricerca ha permesso di identificare, in meno di dodici ore dall’avvio degli agenti nella fase decisiva dell’indagine, una vulnerabilità presente in un software aziendale di terze parti che poteva consentire l’accesso a informazioni riservate. I dati potenzialmente raggiungibili comprendevano documentazione relativa alle riunioni interne, informazioni su stipendi e offerte di assunzione, messaggi Slack riguardanti attività aziendali e discussioni sui modelli AI avanzati. L’indagine si è svolta nell’ambito delle attività di ricerca sulla sicurezza consentite dal programma bug bounty di Anthropic, sebbene successivamente siano emerse divergenze tra le parti riguardo alle modalità di esecuzione dei test e al rispetto delle regole stabilite.
I ricercatori hanno identificato una debolezza nei sistemi utilizzati da Anthropic per le normali attività operative, anziché nelle tecnologie fondamentali dei modelli linguistici. Cathedral ha comunicato i risultati ad Anthropic all’inizio di ottobre, informando anche il fornitore del software interessato. Anthropic ha confermato che i ricercatori erano riusciti ad accedere in misura limitata a componenti delle infrastrutture commerciali, delle risorse umane e dell’IT. Tra le informazioni comprese nella superficie raggiungibile figuravano alcuni recapiti di clienti e partner e dati di base relativi agli account utente. La società ha tuttavia precisato che non erano stati raggiunti i messaggi inseriti dai clienti nei modelli, le risposte generate dai sistemi AI, il codice dei modelli o i relativi pesi. Questa distinzione delimita la portata della vulnerabilità documentata e impedisce di interpretarla come una compromissione generalizzata dell’infrastruttura di sviluppo dei modelli.
Anthropic ha dichiarato che i propri sistemi di monitoraggio avevano individuato parte dell’attività dei ricercatori prima della segnalazione formale e che il percorso di accesso era stato bloccato il giorno stesso della comunicazione. Il software aziendale interessato è stato temporaneamente disattivato e ripristinato soltanto dopo la conferma della correzione da parte del fornitore. L’azienda ha inoltre affermato di non aver trovato prove che altri soggetti avessero sfruttato la medesima vulnerabilità. Sono emerse però divergenze nella ricostruzione degli esperimenti: secondo Anthropic, Cathedral avrebbe tentato per diversi giorni di accedere direttamente ai sistemi interni prima di modificare la strategia e concentrarsi sul software di terze parti. Anthropic ha anche contestato il pieno rispetto delle condizioni del programma bug bounty e ritenuto eccessiva la valutazione dei rischi per la sicurezza nazionale formulata dai ricercatori.
Cathedral ha difeso il proprio operato, sostenendo di aver limitato l’accesso alle informazioni secondo le pratiche della ricerca di sicurezza e di aver dimostrato la capacità degli agenti AI di individuare rapidamente vulnerabilità utilizzabili per raggiungere sistemi protetti attraverso collegamenti indiretti. Le risultanze mostrano quindi un caso concreto nel quale la debolezza di un’applicazione aziendale esterna ha costituito un possibile punto di ingresso verso dati interni sensibili, senza che fosse necessario compromettere direttamente i sistemi di inferenza o addestramento dei modelli. Il risultato tecnico riguarda la capacità di correlare esposizioni presenti nelle applicazioni aziendali e percorsi di accesso conseguenti, mentre le valutazioni sulla correttezza delle procedure di test rimangono oggetto di posizioni differenti tra Cathedral e Anthropic.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).