I Large Language Model (LLM) stanno rivoluzionando il campo della ricerca legale, ma uno studio dell’Università di Stanford ha rivelato che questi strumenti, nonostante le promesse dei fornitori, presentano ancora un tasso significativo di “allucinazioni”, ovvero risultati palesemente falsi o errati.
Lo studio, il primo nel suo genere, ha messo a confronto i principali strumenti di ricerca legale basati sull’intelligenza artificiale con GPT-4 di OpenAI, utilizzando oltre 200 query legali create appositamente. I risultati hanno dimostrato che, sebbene gli strumenti legali di intelligenza artificiale abbiano superato GPT-4, producono ancora allucinazioni in una percentuale preoccupante, tra il 17% e il 33% delle query.
Molti di questi strumenti utilizzano la tecnica RAG (Retrieval Augmented Generation) per ridurre le allucinazioni, recuperando documenti rilevanti da una base di conoscenza e fornendoli al modello come contesto per le risposte. Tuttavia, la ricerca legale spesso non ha risposte univoche e la rilevanza di un documento non si basa solo sulla somiglianza testuale.
I ricercatori sottolineano la necessità di maggiore trasparenza e benchmarking nel settore dell’IA legale. A differenza della ricerca generale sull’IA, la tecnologia legale è stata finora molto chiusa, con i fornitori che non forniscono informazioni tecniche o prove delle prestazioni dei loro prodotti.
Nonostante i limiti attuali, la ricerca legale assistita dall’IA può comunque offrire vantaggi rispetto ai metodi tradizionali, soprattutto se utilizzata come punto di partenza piuttosto che come fonte definitiva.
In risposta allo studio, i fornitori di strumenti legali basati sull’IA hanno riconosciuto la necessità di ulteriori test e valutazioni. Hanno sottolineato che i loro prodotti sono progettati per migliorare il lavoro degli avvocati, non per sostituirli, e che nessuna tecnologia può sostituire il giudizio e il ragionamento umano.
Lo studio di Stanford ha aperto un importante dibattito sulla trasparenza e sull’affidabilità degli strumenti di IA legale. La collaborazione tra università, studi legali e aziende tecnologiche sarà fondamentale per sviluppare parametri di riferimento affidabili e garantire che l’IA sia utilizzata in modo responsabile ed etico nel campo legale.