I Large Language Models (LLM) possono avere allucinazioni: generano informazioni errate, fuorvianti o prive di senso. Mentre alcuni, come il CEO di OpenAI Sam Altman, considerano questa creatività utile per scoperte scientifiche, in molti casi le allucinazioni rappresentano un bug, non una funzionalità, poiché è fondamentale fornire risposte corrette.
Allora, come possiamo ridurre le allucinazioni degli LLM? Ecco alcune tecniche avanzate:
- Utilizzo dei suggerimenti avanzati
Si discute molto se l’utilizzo di suggerimenti migliori o più avanzati possa risolvere le allucinazioni LLM. Mentre alcuni credono che scrivere suggerimenti più dettagliati non risolva il caso, altri, come il co-fondatore di Google Brain Andrew Ng, vedono un potenziale in questo. Ng ritiene che la capacità di ragionamento di GPT-4 e di altri modelli avanzati li renda abbastanza bravi nell’interpretare istruzioni complesse con istruzioni dettagliate. “Con l’apprendimento a molte riprese, gli sviluppatori possono fornire dozzine, persino centinaia di esempi nel prompt, e questo funziona meglio dell’apprendimento a poche riprese”, ha scritto. Sono in corso anche molti nuovi sviluppi per migliorare i prompt, come Anthropic che ha rilasciato un nuovo strumento “Generatore di prompt” in grado di trasformare semplici descrizioni in prompt avanzati ottimizzati per LLM. Recentemente, Marc Andreessen ha anche affermato che con i giusti suggerimenti possiamo sbloccare il supergenio latente nei modelli di intelligenza artificiale. “Suggerire l’artigianato in molti domini diversi in modo da sbloccare il super genio latente”, ha aggiunto.
- CoVe di Meta AI
La catena di verifica (CoVe) di Meta AI è un’altra tecnica. Questo metodo riduce le allucinazioni nei LLM suddividendo il controllo dei fatti in passaggi gestibili, migliorando l’accuratezza della risposta e allineandosi ai processi di controllo dei fatti guidati dall’uomo. CoVe prevede la generazione di una risposta iniziale, la pianificazione delle domande di verifica, la risposta a queste domande in modo indipendente e la produzione di una risposta finale verificata. Questo metodo migliora significativamente l’accuratezza del modello verificando e correggendo sistematicamente i propri risultati. Migliora le prestazioni in varie attività, come domande basate su elenchi, QA a libro chiuso e generazione di testi di lunga durata, riducendo le allucinazioni e aumentando la correttezza dei fatti.
- Grafici della conoscenza
RAG non si limita più alla corrispondenza del database vettoriale, sono state introdotte molte tecniche RAG avanzate che migliorano significativamente il recupero. Ad esempio, l’integrazione dei Knowledge Graph (KG) in RAG . Sfruttando i dati strutturati e interconnessi dei KG, le capacità di ragionamento degli attuali sistemi RAG possono essere notevolmente migliorate.
- Raptor
Un’altra tecnica è Raptor, un metodo per affrontare domande che abbracciano più documenti creando un livello di astrazione più elevato. È particolarmente utile per rispondere a domande che coinvolgono concetti provenienti da più documenti. Metodi come Raptor si adattano molto bene ai LLM a contesto lungo perché puoi semplicemente incorporare documenti completi senza alcuna suddivisione. Questo metodo riduce le allucinazioni integrando meccanismi di recupero esterni con un modello di trasformatore. Quando viene ricevuta una query, Raptor recupera innanzitutto informazioni pertinenti e verificate da basi di conoscenza esterne. Questi dati recuperati vengono quindi incorporati nel contesto del modello insieme alla query originale. Basando le risposte del modello su informazioni fattuali e pertinenti, Raptor garantisce che il contenuto generato sia accurato e contestualmente appropriato.
- Mitigare le allucinazioni LLM tramite l’astensione conforme
L’ articolo “Mitigating LLM Hallucinations via Conformal Abstention” introduce un metodo per ridurre le allucinazioni negli LLM impiegando tecniche di previsione conforme per determinare quando il modello dovrebbe astenersi dal fornire una risposta. Utilizzando l’autocoerenza per valutare la somiglianza della risposta e sfruttando la previsione conforme per garanzie rigorose, il metodo garantisce che il modello risponda solo quando è sicuro della sua accuratezza. Questo approccio limita efficacemente il tasso di allucinazioni mantenendo un tasso di astensione equilibrato, avvantaggiando in particolare i compiti che richiedono risposte di lunga durata. Migliora significativamente l’affidabilità dei risultati del modello evitando risposte errate o prive di senso.
- Ridurre le allucinazioni negli output strutturati tramite RAG
Recentemente, ServiceNow ha ridotto le allucinazioni negli output strutturati tramite RAG , migliorando le prestazioni LLM e consentendo la generalizzazione fuori dominio riducendo al minimo l’utilizzo delle risorse. La tecnica prevede un sistema RAG, che recupera oggetti JSON rilevanti da basi di conoscenza esterne prima di generare testo. Ciò garantisce che il processo di generazione sia basato su dati accurati e pertinenti. Incorporando questa fase di pre-recupero, è meno probabile che il modello produca informazioni errate o inventate, riducendo così le allucinazioni. Inoltre, questo approccio consente l’utilizzo di modelli più piccoli senza compromettere le prestazioni, rendendolo efficiente ed efficace.