È stata scoperta una vulnerabilità, denominata “LeftoverLocals”, nelle GPU prodotte da importanti aziende come Apple, AMD e Qualcomm. Questo difetto permette agli hacker di sottrarre dati sensibili processati dalle GPU, inclusi quelli relativi ai modelli linguistici di grandi dimensioni (LLM).
La vulnerabilità LeftoverLocals è stata rivelata dai ricercatori di Trail of Beats. Permette agli attaccanti di accedere fino a 180 MB di dati sensibili memorizzati nella memoria locale delle GPU. La memoria locale, che è una piccola e veloce area di memoria all’interno della GPU, non veniva cancellata correttamente tra l’esecuzione di diverse applicazioni sulla stessa GPU, lasciando così i dati accessibili ad applicazioni malevole.
Questa falla può essere sfruttata per intercettare i chatbot basati su LLM. Gli hacker possono rubare non solo i dati relativi ai pesi e alle attivazioni dell’LLM, ma anche le query di input e le risposte di output. In un test, è stato possibile sottrarre fino a 181 MB di dati da una GPU AMD, abbastanza per riprodurre completamente la risposta di un modello LLM da 7 miliardi di parametri.
Durante i test condotti su diverse GPU con applicazioni e framework come Vulkan, OpenCL e Metal, le vulnerabilità LeftoverLocals sono state riscontrate nelle GPU di Apple, AMD e Qualcomm. Tuttavia, non sono state trovate in quelle di NVIDIA, Intel e ARM.
La quantità di dati vulnerabili varia in base all’architettura della GPU. Ad esempio, l’AMD Radeon 7900 XT ha mostrato perdite di fino a 5,5 MB per ogni chiamata al kernel.
In risposta, Apple ha annunciato aggiornamenti per i suoi nuovi processori M3 e A17. Qualcomm ha rilasciato una patch del firmware e AMD prevede di introdurre correzioni a marzo. Anche Google ha implementato aggiornamenti per i dispositivi Chrome OS che utilizzano GPU AMD e Qualcomm.
I ricercatori sottolineano la necessità di standard, test e controlli più rigorosi nell’ecosistema delle GPU, in particolare considerando l’importanza crescente delle GPU in settori critici per la privacy, come il campo medico.