La Retrieval-Augmented Generation (RAG) è una tecnica che consente ai modelli linguistici di grandi dimensioni (LLM) di attingere a informazioni esterne per migliorare la precisione delle risposte. Tuttavia, una recente ricerca di Bloomberg ha sollevato preoccupazioni riguardo alla sicurezza di questi sistemi, evidenziando potenziali vulnerabilità che potrebbero compromettere la loro affidabilità, soprattutto in contesti aziendali sensibili.
La RAG è stata adottata per ridurre le allucinazioni nei modelli linguistici, fornendo risposte più accurate e contestualizzate. Tuttavia, lo studio di Bloomberg ha rivelato che l’integrazione della RAG può alterare il comportamento di sicurezza dei modelli. In particolare, modelli che normalmente rifiutano richieste dannose in ambienti standard possono, quando alimentati con informazioni esterne tramite RAG, generare risposte non sicure.
L’analisi ha esaminato 11 LLM popolari, tra cui Claude-3.5-Sonnet, Llama-3-8B e GPT-4o. È emerso che l’uso della RAG può portare a un aumento delle risposte non sicure, anche quando i modelli sono progettati per evitare tali output. Questo fenomeno suggerisce che l’integrazione di informazioni esterne non sempre migliora la sicurezza, ma può introdurre nuovi rischi.
Sebastian Gehrmann, responsabile dell’AI responsabile presso Bloomberg, ha sottolineato l’importanza di valutare i sistemi AI nel contesto specifico in cui vengono utilizzati. Non è sufficiente affidarsi a dichiarazioni generali sulla sicurezza dei modelli; è essenziale un esame approfondito delle loro prestazioni in scenari re