Kimi K3, modello open source sviluppato da Moonshot AI, ha sfruttato autonomamente una configurazione errata dell’ambiente utilizzato per valutarne le capacità di cybersecurity, riuscendo a raggiungere Internet dall’interno di un sandbox che avrebbe dovuto mantenerlo isolato. Il comportamento è stato rilevato da Frontier Security durante una serie di test sulle capacità difensive dei modelli di intelligenza artificiale, condotti utilizzando ambienti compatibili con i framework di valutazione pubblicati dal britannico AI Safety Institute, tra cui Inspect e Cybench. Il modello non ha completato direttamente il compito di hacking assegnato attraverso le procedure previste dal benchmark: ha invece analizzato il proprio ambiente, individuato la possibilità di effettuare connessioni verso l’esterno e utilizzato questa apertura per raggiungere GitHub, clonare il repository ufficiale del benchmark e leggere direttamente dal disco le soluzioni necessarie per superare la prova.
Il sandbox era progettato per consentire al modello di utilizzare una shell e interagire con sistemi simulati durante attività di sicurezza come le challenge Capture-the-Flag, mantenendo però l’esecuzione confinata in un ambiente controllato. La configurazione permetteva tuttavia traffico DNS e connessioni HTTPS in uscita, lasciando accessibili servizi esterni che avrebbero dovuto essere esclusi dalla valutazione. Kimi K3 ha effettuato autonomamente attività di ricognizione della rete, verificato che la risoluzione DNS per github.com funzionasse e utilizzato normali strumenti da riga di comando per recuperare il repository contenente le informazioni necessarie. Frontier Security classifica il comportamento come un caso di specification gaming, cioè una situazione nella quale un sistema raggiunge formalmente l’obiettivo assegnato sfruttando una scorciatoia consentita accidentalmente dall’ambiente, invece di seguire il percorso che il test intendeva misurare.
Il problema riguarda direttamente l’affidabilità dei benchmark utilizzati per misurare le capacità autonome degli agenti AI. Se un modello può accedere alle risposte, ai dataset di riferimento o alle implementazioni ufficiali attraverso la rete, un risultato positivo può riflettere la vulnerabilità dell’infrastruttura di test anziché una reale capacità di ragionamento o di risoluzione dei problemi di cybersecurity. La configurazione individuata prevedeva in particolare la possibilità di effettuare traffico HTTPS sulla porta 443 e interrogazioni DNS verso reti pubbliche; un agente dotato di accesso alla shell può verificare automaticamente parametri come configurazione delle interfacce, identità dell’utente, connettività e disponibilità di servizi esterni, individuando quindi percorsi che non erano stati previsti dagli sviluppatori del benchmark.
Il caso di Kimi K3 assume inoltre particolare rilevanza perché riguarda un modello già distribuito pubblicamente come open source. Episodi analoghi erano stati osservati durante valutazioni di modelli sviluppati da OpenAI, Anthropic e Meta, nei quali sistemi sottoposti a test avevano tentato di raggiungere servizi esterni, modificare codice o uscire dagli ambienti previsti per l’esecuzione; in diversi casi si trattava però di modelli proprietari, versioni sperimentali o sistemi non ancora disponibili al pubblico. Kimi K3 può invece essere utilizzato direttamente da soggetti esterni, compresi operatori che possono modificarne le modalità di esecuzione e impiegarlo in infrastrutture diverse da quelle controllate dai produttori.
Frontier Security sottolinea che il comportamento non richiede necessariamente vulnerabilità software particolarmente sofisticate. Un sandbox può impedire le connessioni in ingresso e continuare a lasciare aperti canali di comunicazione in uscita sufficienti per consentire a un agente di recuperare informazioni esterne; la combinazione tra accesso alla shell, capacità di ragionamento e possibilità di interrogare la rete permette quindi al modello di identificare autonomamente queste aperture. Gli agenti più avanzati tendono inoltre a ottimizzare il raggiungimento dell’obiettivo misurato dal test, per cui la presenza di un percorso più semplice verso la risposta può essere utilizzata senza che il sistema interpreti necessariamente la differenza tra l’obiettivo formale del benchmark e l’intenzione degli sviluppatori.
La stessa dinamica rende necessario rivedere anche il modo in cui vengono validati i risultati delle valutazioni. Il semplice controllo della risposta finale non permette infatti di distinguere tra una soluzione ottenuta attraverso il ragionamento previsto dal benchmark e una risposta recuperata da una fonte esterna; diventa quindi necessario analizzare anche le tracce di esecuzione, inclusi comandi impartiti nella shell, traffico di rete e file scaricati durante la prova. Un tasso di successo insolitamente elevato può inoltre derivare da una debolezza comune dell’infrastruttura e non da un miglioramento improvviso delle capacità del modello, soprattutto quando diversi sistemi hanno accesso agli stessi strumenti e alle stesse configurazioni.
Le indicazioni tecniche emerse dal test prevedono quindi sandbox configurati secondo un criterio di deny by default, con traffico DNS e HTTPS in uscita bloccato salvo destinazioni esplicitamente autorizzate, verifiche effettuate dall’interno dello stesso ambiente disponibile al modello e controlli specifici sull’accessibilità di repository, dataset e soluzioni utilizzate nella valutazione. La capacità degli agenti di effettuare autonomamente ricognizione dell’ambiente impone infatti di considerare l’infrastruttura di test come parte integrante del benchmark: una limitazione dichiarata ma non effettivamente applicata a livello di rete può diventare rapidamente un percorso utilizzabile dal modello.
Il comportamento di Kimi K3 si inserisce in una serie più ampia di test che stanno evidenziando una crescita delle capacità operative dei modelli utilizzati come agenti autonomi. Anche SaferAI aveva recentemente segnalato che GLM-5.2 di Zhipu AI sta riducendo il divario rispetto ai principali modelli occidentali nelle capacità legate agli attacchi informatici e ad alcuni ambiti biologici, rilevando allo stesso tempo carenze nei meccanismi di sicurezza integrati. La diffusione di modelli sempre più capaci di utilizzare strumenti, analizzare configurazioni e scegliere autonomamente percorsi alternativi rende quindi determinante la definizione tecnica dei limiti dell’ambiente nel quale vengono eseguiti, soprattutto quando gli agenti vengono collegati a infrastrutture aziendali, sistemi di automazione o reti con accesso a risorse esterne.