Amazon ha appena svelato un nuovo strumento chiamato RAGChecker, progettato per migliorare il funzionamento dei sistemi di intelligenza artificiale. Ecco cosa c’è da sapere:
RAGChecker è un framework sviluppato dal team AWS AI di Amazon per valutare e migliorare i sistemi Retrieval-Augmented Generation (RAG). Questi sistemi combinano modelli linguistici avanzati con database esterni per fornire risposte più precise e contestuali. RAGChecker mira a risolvere uno dei problemi principali dell’IA: garantire che i sistemi possano integrare correttamente le informazioni esterne nelle loro risposte.
A differenza delle metriche tradizionali, che valutano le risposte in generale, RAGChecker analizza ogni affermazione separatamente. Questo approccio permette una valutazione più dettagliata della correttezza e della pertinenza delle risposte generate dal sistema, sia nella fase di recupero che in quella di generazione delle informazioni.
Attualmente, RAGChecker è utilizzato solo internamente da Amazon e non è ancora disponibile al pubblico. Non è chiaro se e quando sarà rilasciato come strumento open source o integrato nei servizi AWS.
RAGChecker non è solo per ricercatori, ma può essere prezioso anche per le aziende. Le metriche fornite dal framework possono aiutare a valutare e ottimizzare i sistemi di IA, identificare punti deboli e migliorare le prestazioni complessive.
Il team di Amazon ha testato RAGChecker su vari sistemi RAG e in diversi ambiti, come medicina e finanza. I risultati hanno mostrato che, mentre alcuni sistemi sono bravi nel recuperare informazioni pertinenti, possono introdurre dati non rilevanti che confondono la fase di generazione. Inoltre, sono state riscontrate differenze tra modelli open source e proprietari, con i modelli open source che talvolta si basano troppo sul contesto fornito.