Eclypsium ha pubblicato una ricerca sulla sicurezza delle infrastrutture di intelligenza artificiale, dimostrando che un componente hardware compromesso può alterare il comportamento di un modello durante l’inferenza senza modificare i file originali memorizzati sul sistema. L’esperimento, realizzato in un ambiente controllato con il supporto di NVIDIA, ha utilizzato una Data Processing Unit, o DPU, compromessa e una configurazione permissiva dell’isolamento della memoria per intervenire sui parametri numerici del modello già caricati nella memoria di esecuzione. Il risultato è stato un cambiamento nelle risposte generate, mentre il file contenente i pesi originali e il servizio di inferenza sono rimasti invariati. La dimostrazione evidenzia una distinzione tra l’integrità del modello come artefatto software e quella del sistema che lo esegue: la verifica della firma digitale o dell’hash dei file permette di controllare che il contenuto memorizzato non sia stato modificato, ma non garantisce necessariamente che i parametri effettivamente utilizzati durante l’elaborazione corrispondano ancora a quelli verificati. Gli attacchi ai sistemi di intelligenza artificiale vengono spesso esaminati attraverso tecniche di prompt injection, manipolazione dei dati di addestramento o utilizzo improprio degli strumenti, mentre questo esperimento riguarda uno strato inferiore dell’architettura, comprendente processori infrastrutturali, firmware, meccanismi di trasferimento dei dati e autorizzazioni di accesso alla memoria.
I pesi di un modello sono valori numerici che determinano il funzionamento della rete neurale e contribuiscono alla produzione delle risposte. Durante l’inferenza vengono caricati in memoria e utilizzati dai processori che eseguono i calcoli. Se un componente dotato di privilegi sufficienti riesce a modificare tali valori dopo il caricamento, il modello può operare con parametri differenti da quelli conservati nel file originale, senza che una successiva verifica dell’artefatto memorizzato rilevi necessariamente il cambiamento. Nella dimostrazione di Eclypsium, l’alterazione dei pesi in memoria ha prodotto una variazione osservabile della risposta a una domanda di carattere geopolitico. La ricerca distingue questo risultato sperimentale dalle possibili conseguenze in altri contesti, come la generazione di codice, l’elaborazione di informazioni sensibili o l’esecuzione di decisioni automatizzate, che costituiscono scenari di rischio ma non sono stati tutti dimostrati direttamente nell’esperimento. Anche l’assenza di rilevamento deve essere interpretata entro i limiti dei controlli impiegati: i sistemi di verifica dell’integrità dei file originali non hanno identificato la modifica dei parametri in memoria, ma ciò non significa che un’operazione analoga risulti necessariamente invisibile a tutti i sistemi di monitoraggio o alle successive analisi forensi.
L’esperimento è stato condotto su un’infrastruttura NVIDIA Grace Hopper e ha sfruttato un percorso di accesso diretto alla memoria reso possibile dalla compromissione di un componente privilegiato e da impostazioni di isolamento permissive. Le condizioni tecniche comprendevano l’utilizzo di IOMMU passthrough e una configurazione dell’isolamento PCIe che permetteva al dispositivo coinvolto di raggiungere aree di memoria sensibili. L’IOMMU, acronimo di Input-Output Memory Management Unit, è un componente di sicurezza che consente di controllare l’accesso alla memoria da parte delle periferiche, limitando le regioni raggiungibili mediante operazioni di Direct Memory Access. I ricercatori hanno specificato che le impostazioni utilizzate per consentire l’esperimento non corrispondevano alle configurazioni predefinite di Linux. Nelle verifiche effettuate con un isolamento più rigoroso, il medesimo percorso di accesso diretto non risultava disponibile. La riuscita dell’attacco dipendeva quindi sia dalla compromissione del componente privilegiato sia dalla configurazione effettiva dei controlli di memoria. Il risultato dimostra l’importanza di verificare che le funzionalità di sicurezza presenti nell’hardware siano realmente abilitate e configurate per applicare i confini di accesso previsti, evitando di considerare la semplice disponibilità di un meccanismo di protezione come prova della sua efficacia operativa.
NVIDIA ha illustrato le protezioni integrate nelle proprie DPU BlueField, comprendenti procedure di avvio autenticato, radici hardware di fiducia, isolamento dei componenti, protezione degli aggiornamenti firmware e funzionalità di attestazione. L’azienda ha osservato che gli operatori cloud possono adottare configurazioni differenti in funzione dei rispettivi modelli di fiducia e delle esigenze operative, rendendo necessario verificare le impostazioni realmente applicate. Le conclusioni della ricerca si estendono oltre la singola piattaforma sperimentale, poiché l’esecuzione dei sistemi di intelligenza artificiale dipende anche da software privilegiato dell’host, firmware degli acceleratori, controller di gestione e sistemi di trasferimento dei dati. In questo contesto si inserisce anche l’architettura NVIDIA Open Agent Safety Platform, che comprende OpenShell per la gestione delle regole operative durante l’esecuzione e NVIDIA Sentry, implementato sulle DPU BlueField per eseguire controlli in un dominio hardware isolato rispetto al sistema host e all’agente. La separazione dei controlli di sicurezza dall’ambiente applicativo permette di ridurre alcune dipendenze, ma richiede contemporaneamente che i componenti incaricati della supervisione rimangano affidabili e correttamente configurati. Una compromissione dell’infrastruttura di controllo potrebbe infatti alterare le garanzie sulle quali si basano le protezioni applicate ai modelli e agli agenti.
Eclypsium definisce AI Infrastructure Assurance Gap la distanza tra le verifiche concentrate sui modelli e il controllo dell’integrità dell’infrastruttura che li esegue. La propria piattaforma di verifica infrastrutturale è progettata per individuare i componenti presenti nei sistemi, analizzarne firmware e configurazioni, confrontare il loro stato con riferimenti approvati e monitorare le modifiche intervenute nel tempo. La ricerca richiama l’esigenza di gestire DPU, GPU, controller di gestione e relativi firmware come risorse distinte, ciascuna con procedure di inventario, identificazione delle versioni, valutazione delle vulnerabilità e aggiornamento. Anche gli accessi alle interfacce di gestione e il software di terze parti installato sui processori infrastrutturali rientrano nell’ambito delle verifiche. Il controllo deve essere mantenuto durante l’installazione, l’aggiornamento, il ripristino successivo a un incidente e la riassegnazione delle risorse, soprattutto nei sistemi cloud condivisi che possono essere utilizzati successivamente da clienti differenti. La reinstallazione di un sistema operativo o il ripristino di un’immagine software considerata affidabile non dimostrano, da soli, che tutti i componenti sottostanti siano tornati a uno stato autorizzato. Le firme dei modelli continuano quindi a svolgere una funzione specifica nella verifica degli artefatti, mentre secure boot, attestazione hardware, isolamento della memoria e monitoraggio continuo permettono di controllare aspetti differenti della catena di esecuzione. L’esperimento dimostra che il superamento di una verifica di integrità non è sufficiente a garantire l’assenza di alterazioni negli altri livelli del sistema utilizzato per eseguire il modello.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).