Il Centro di ricerca sulla sicurezza dell’intelligenza artificiale della Soongsil University ha sviluppato Mneme, un sistema multi-agente specializzato nell’analisi delle vulnerabilità informatiche che ha raggiunto il 91,0% di successo al primo tentativo sul benchmark internazionale CyberGym. Il risultato ha portato il gruppo di ricerca coreano nella top 10 della classifica pubblica del benchmark, prima squadra sudcoreana a raggiungere questo livello. CyberGym è progettato per valutare sistemi di intelligenza artificiale su vulnerabilità realmente presenti nel software open source e comprende 1.507 vulnerabilità provenienti da 188 progetti open source. Le prove richiedono all’AI di comprendere il codice sorgente, individuare il percorso che conduce alla vulnerabilità, utilizzare strumenti tecnici dedicati, produrre codice capace di riprodurre il problema, eseguirlo e verificarne ripetutamente il risultato.
Mneme ha ottenuto il 91,0% di successo sulle 1.507 attività di livello 1 di CyberGym, raggiungendo prestazioni paragonabili a quelle di MDASH, il sistema di analisi delle vulnerabilità sviluppato da Microsoft. La differenza principale riguarda però l’architettura utilizzata: MDASH combina più modelli, mentre Mneme è costruito utilizzando come modello di base esclusivamente Claude Opus 4.6. Il risultato non deriva quindi dalla combinazione di diversi modelli di grandi dimensioni, ma dall’aggiunta di una struttura software specializzata attorno a un singolo modello.
Il dato più significativo riguarda proprio il miglioramento ottenuto attraverso quella che i ricercatori definiscono agent harness engineering. Claude Opus 4.6, utilizzato senza questa infrastruttura specializzata, raggiungeva una percentuale di successo di circa 66,6% sullo stesso tipo di esecuzione. L’integrazione di conoscenze specifiche di cybersecurity, collaborazione tra più agenti, strumenti di analisi, memoria causale strutturata e procedure iterative di verifica ha portato il risultato fino al 91,0%, con un incremento di 24,4 punti percentuali rispetto alle capacità operative del modello di base. Il sistema mostra quindi come una parte consistente delle prestazioni di un agente specializzato possa dipendere non soltanto dalle capacità del modello linguistico sottostante, ma dalla progettazione del livello operativo che ne organizza memoria, strumenti, ruoli e verifiche.
L’architettura di Mneme è costruita attorno alla collaborazione di più agenti specializzati. Durante l’analisi di una vulnerabilità, il sistema utilizza conoscenze di sicurezza informatica e strumenti tecnici insieme a una memoria strutturata delle relazioni causa-effetto individuate durante le precedenti attività. I diversi agenti possono condividere queste informazioni e utilizzarle per formulare nuove ipotesi sull’origine di una vulnerabilità, verificandole attraverso successive esecuzioni. Il nome Mneme deriva infatti dal termine greco che significa “memoria” e richiama direttamente il meccanismo centrale del sistema: conservare le conoscenze ottenute dalle precedenti analisi sotto forma di memoria causale e riutilizzarle nel processo di ricerca delle vulnerabilità successive.
Questo approccio consente di trasformare l’analisi delle vulnerabilità da una singola interrogazione del modello a un processo iterativo composto da osservazione, formulazione di ipotesi, utilizzo di strumenti, esecuzione di codice e verifica del risultato. La capacità di riprodurre concretamente una vulnerabilità rappresenta infatti una parte essenziale di CyberGym: non è sufficiente che il modello segnali genericamente un possibile difetto nel codice, perché deve ricostruire il percorso che provoca il problema e realizzare codice capace di dimostrarne effettivamente l’esistenza. La valutazione misura quindi contemporaneamente comprensione del software, ragionamento sulla vulnerabilità, capacità di interagire con strumenti esterni e verifica sperimentale delle ipotesi formulate.
Secondo Choi Dae-seon, direttore del Centro di ricerca sulla sicurezza dell’AI della Soongsil University, competere esclusivamente sulla dimensione dei modelli di frontiera rende difficile per la Corea del Sud raggiungere rapidamente i principali sviluppatori internazionali. L’integrazione di modelli nazionali con conoscenze verticali di cybersecurity e infrastrutture agentiche specializzate potrebbe invece consentire di raggiungere più rapidamente prestazioni di livello internazionale nei singoli domini applicativi. Il risultato di Mneme viene quindi utilizzato come dimostrazione della possibilità di aumentare significativamente le capacità operative di un modello attraverso la progettazione dell’harness, senza dover necessariamente incrementare la dimensione del modello sottostante.
Il progetto è stato sviluppato all’interno del Soongsil University AI Safety Research Center, fondato nel 2024 come primo centro di ricerca privato sudcoreano dedicato specificamente alla sicurezza e alla safety dell’intelligenza artificiale. Le attività del centro comprendono gestione dei rischi AI, sicurezza dell’intelligenza artificiale in ambito militare, affidabilità dei modelli e analisi delle nuove minacce generate dai sistemi di AI. Il centro lavora inoltre alla valutazione della sicurezza di modelli e sistemi agentici, allo sviluppo di harness specializzati per la cybersecurity, al red teaming e alla realizzazione di benchmark e procedure sperimentali destinate a misurare le capacità dei sistemi AI in scenari operativi realistici.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)