Per affrontare il problema dei contesti limitati nei modelli linguistici di grandi dimensioni (LLM), i ricercatori hanno sviluppato EM-LLM, un sistema che emula la memoria episodica umana. Questo studio, pubblicato dai ricercatori di Huawei e dell’University College di Londra, è intitolato “Human-like Episodic Memory for Infinite Context LLMs”.
EM-LLM integra aspetti della memoria episodica e della cognizione umana nei modelli linguistici, permettendo loro di avere lunghezze di contesto infinite senza aumentare la potenza di calcolo necessaria. Questa innovazione migliora le prestazioni dei LLM in compiti a lungo termine e fornisce un quadro computazionale scalabile per testare ipotesi sulla memoria umana.
Il sistema organizza i dati in eventi episodici utilizzando la sorpresa bayesiana e una struttura grafica sofisticata. Per recuperare informazioni, impiega un processo in due fasi basato su tempo e somiglianza. Rispetto a metodi simili, EM-LLM ha mostrato un miglioramento del 4,3% nelle prestazioni complessive e del 33% nel task di recupero dei passaggi rispetto ad InfLLM.
Questa ricerca rappresenta un significativo passo avanti per risolvere il problema della lunghezza del contesto nei LLM. Grandi aziende come Google e Meta stanno lavorando su metodi simili per gestire input di lunghezza infinita nei modelli linguistici.