NVIDIA ha recentemente introdotto Garak, un innovativo scanner di vulnerabilità open-source progettato per identificare e mitigare le debolezze nei modelli linguistici di grandi dimensioni (LLM). Soprannominato il “nmap per LLM”, Garak funge da strumento di red-teaming e valutazione per i sistemi di intelligenza artificiale generativa, offrendo una protezione avanzata contro potenziali minacce.
Il nome “Garak” potrebbe essere un omaggio a Elim Garak, un personaggio della serie Star Trek noto per le sue abilità di spionaggio e analisi. Analogamente, lo strumento di NVIDIA esegue compiti simili, valutando gli LLM per individuare vulnerabilità come allucinazioni, perdite di dati, injection di prompt, disinformazione, tossicità e scenari di jailbreak.
Garak utilizza tecniche di probing statico, dinamico e adattivo per simulare modalità di fallimento nei modelli di intelligenza artificiale e nei sistemi di dialogo. Attualmente, supporta modelli generativi disponibili su Hugging Face Hub, modelli di testo su Replicate e modelli di chat e continuazione tramite l’API di OpenAI. Inoltre, è compatibile con qualsiasi sistema accessibile tramite REST API, ampliando la sua versatilità e applicabilità.
NVIDIA ha reso Garak disponibile gratuitamente, con l’intenzione di migliorare continuamente le sue funzionalità per supportare una gamma più ampia di applicazioni. L’azienda ha sottolineato l’importanza di questo strumento, affermando: “Sebbene la maggior parte degli LLM recenti, specialmente quelli commerciali, siano allineati per essere più sicuri da usare, bisogna tenere presente che qualsiasi applicazione alimentata da LLM è soggetta a una vasta gamma di attacchi”.
Questo lancio si inserisce in una serie di iniziative di NVIDIA volte a potenziare e proteggere le applicazioni di intelligenza artificiale. Il mese scorso, l’azienda ha introdotto il modello Nemotron-4-Mini-Hindi-4B, un piccolo modello linguistico per la lingua hindi, progettato per consentire alle aziende di implementare soluzioni AI specifiche per le esigenze locali. Questo modello, parte del microservizio NIM di NVIDIA, può essere distribuito su sistemi accelerati da GPU NVIDIA, ottimizzando le prestazioni per varie applicazioni.
Inoltre, NVIDIA ha presentato HOVER (Humanoid Versatile Controller), una rete neurale con 1,5 milioni di parametri progettata per coordinare i motori dei robot umanoidi, facilitando sia la locomozione che la manipolazione.