I modelli linguistici di grandi dimensioni (LLM) come GPT-4, BERT e Llama hanno rivoluzionato la nostra interazione con la tecnologia, offrendo risposte rapide e umane. Tuttavia, questi sistemi presentano una limitazione critica: l’incapacità di dimenticare. Questo difetto, noto come “memorizzazione involontaria”, solleva preoccupazioni significative in termini di privacy, sicurezza e affidabilità.
Gli LLM sono addestrati su vasti dataset di testo, apprendendo a prevedere la parola successiva in una sequenza. Questo processo consente loro di comprendere la struttura e il contesto del linguaggio, ma porta anche alla memorizzazione di esempi specifici dai dati di addestramento. Se questi dati contengono informazioni sensibili, come e-mail personali o codice proprietario, i modelli potrebbero esporre involontariamente tali dati quando interrogati, sollevando gravi preoccupazioni sulla privacy e sulla sicurezza.
D’altra parte, gli LLM sono progettati per gestire query nuove e mai viste prima, il che richiede una generalizzazione. La generalizzazione consente ai modelli di riconoscere schemi e regole più ampie dai dati, permettendo loro di generare testo su argomenti non esplicitamente trattati durante l’addestramento. Tuttavia, questo può anche causare “allucinazioni”, in cui il modello produce informazioni inaccurate o fabbricate.
La sfida per gli sviluppatori di IA è trovare un equilibrio: i modelli devono memorizzare abbastanza per fornire risposte accurate, ma generalizzare abbastanza per gestire nuove situazioni senza compromettere dati sensibili o produrre errori.
Misurare quanto un modello linguistico memorizza non è un compito semplice. Come si può determinare se un modello sta richiamando un esempio specifico dai dati di addestramento o semplicemente prevedendo parole basate su schemi? Una ricerca recente ha proposto un nuovo approccio per valutare questo problema utilizzando concetti dalla teoria dell’informazione. I ricercatori definiscono la memorizzazione in base a quanto un modello può “comprimere” un dato specifico. Essenzialmente, misurano quanto un modello può ridurre la quantità di informazioni necessarie per descrivere un pezzo di testo che ha già visto. Se un modello può prevedere un testo con molta precisione, probabilmente lo ha memorizzato. Se no, potrebbe stare generalizzando.
Uno dei risultati chiave dello studio è che i modelli basati su trasformatori hanno una capacità limitata di memorizzazione. Specificamente, possono memorizzare circa 3,6 bit di informazioni per parametro. Per mettere questo in prospettiva, immagina che ogni parametro sia una piccola unità di memoria. Per questi modelli, ogni parametro può memorizzare circa 3,6 bit di informazioni. I ricercatori misurano questa capacità addestrando i modelli su dati casuali, dove la generalizzazione non è possibile, quindi i modelli devono memorizzare tutto.
Quando il dataset di addestramento è piccolo, il modello tende a memorizzare la maggior parte di esso. Ma man mano che il dataset cresce oltre la capacità del modello, quest’ultimo inizia a generalizzare di più. Questo accade perché il modello non può più memorizzare ogni dettaglio dei dati di addestramento, quindi apprende schemi più ampi. Lo studio ha anche scoperto che i modelli tendono a memorizzare sequenze rare o uniche, come testi non in inglese, più di quelle comuni.
Il fenomeno del “double descent” fornisce un’idea interessante su come i modelli linguistici apprendono. Per visualizzarlo, immagina una tazza che viene riempita d’acqua. Inizialmente, aggiungere acqua aumenta il livello (migliora le prestazioni del modello). Ma se aggiungi troppa, l’acqua trabocca (porta a overfitting). Tuttavia, se continui ad aggiungere, alla fine l’acqua si distribuisce e si stabilizza di nuovo (migliora la generalizzazione). Questo è ciò che accade con i modelli linguistici man mano che aumenta la dimensione del dataset.
Quando i dati di addestramento sono appena sufficienti a riempire la capacità del modello, quest’ultimo cerca di memorizzare tutto, il che può portare a scarse prestazioni su nuovi dati. Ma con più dati, il modello non ha altra scelta che imparare schemi generali, migliorando la sua capacità di gestire input mai visti prima. Questo è un punto importante, poiché dimostra che memorizzazione e generalizzazione sono profondamente connesse e la loro relazione dipende dalle dimensioni relative del dataset e dalla capacità del modello.
Sebbene gli aspetti teorici della memorizzazione siano interessanti, le implicazioni pratiche sono ancora più significative. La memorizzazione nei modelli linguistici comporta seri rischi per la privacy e la sicurezza. Se un modello memorizza informazioni sensibili dai suoi dati di addestramento, potrebbe rivelare questi dati quando interrogato in determinati modi. Ad esempio, è stato dimostrato che i modelli linguistici riproducono testualmente il testo dai loro set di addestramento, a volte rivelando dati personali come indirizzi e-mail o codice proprietario. In effetti, uno studio ha rivelato che modelli come GPT-J potrebbero memorizzare almeno l’1% dei loro dati di addestramento. Questo solleva seri problemi, soprattutto quando i modelli linguistici possono rivelare segreti commerciali o chiavi di API funzionali che contengono dati sensibili.
Inoltre, la memorizzazione può avere conseguenze legali relative al copyright e alla proprietà intellettuale. Se un modello riproduce ampie porzioni di contenuti protetti da copyright, potrebbe violare i diritti degli autori originali. Questo è particolarmente preoccupante poiché i modelli linguistici vengono utilizzati sempre più nelle industrie creative, come la scrittura e l’arte.
Man mano che i modelli linguistici diventano più grandi e complessi, il problema della memorizzazione diventa ancora più urgente. I ricercatori stanno esplorando diverse strategie per mitigare questi rischi. Un approccio è la deduplicazione dei dati, dove le istanze duplicate vengono rimosse dai dati di addestramento. La privacy differenziale, che aggiunge rumore ai dati durante l’addestramento, è un’altra tecnica in fase di studio per proteggere i singoli punti dati.
Studi recenti hanno anche esaminato come la memorizzazione avviene all’interno dell’architettura interna dei modelli. Ad esempio, è stato scoperto che gli strati più profondi dei modelli trasformatori sono più responsabili della memorizzazione, mentre gli strati precedenti sono più critici per la generalizzazione. Questa scoperta potrebbe portare a nuovi design architetturali che privilegiano la generalizzazione riducendo al minimo la memorizzazione.
Il futuro dei modelli linguistici probabilmente si concentrerà sul miglioramento della loro capacità di generalizzare riducendo al minimo la memorizzazione. Come suggerisce lo studio, i modelli addestrati su dataset molto grandi potrebbero non memorizzare efficacemente i singoli punti dati, riducendo i rischi per la privacy e i diritti d’autore. Tuttavia, ciò non significa che la memorizzazione possa essere eliminata. È necessaria più ricerca per comprendere meglio le implicazioni sulla privacy della memorizzazione negli LLM.