NextLadder Ventures e Vals AI hanno presentato il 10 novembre 2026 Access to Justice Benchmark, un sistema di valutazione sviluppato per misurare la capacità dei modelli linguistici di fornire informazioni e orientamento preliminare a persone che devono affrontare problemi legali civili negli Stati Uniti. La valutazione ha coinvolto 23 modelli e 252 scenari di prova pubblici, senza che nessuno raggiungesse la soglia dell’80% dei criteri soddisfatti, individuata dai ricercatori come riferimento per un primo punto di contatto sufficientemente affidabile. I risultati evidenziano una differenza significativa tra la capacità dei sistemi di spiegare principi giuridici generali e quella di individuare risorse concretamente utilizzabili. Le risposte hanno soddisfatto dal 78% all’87% dei criteri relativi alle spiegazioni generali, ma soltanto dal 30% al 50% di quelli riguardanti l’identificazione di servizi territoriali, uffici giudiziari, centri di assistenza e modulistica specifica. Ventuno modelli hanno indicato elenchi nazionali come LawHelp.org, ABA Find Legal Help o il servizio 211 in almeno il 70% delle risposte finali, senza identificare sistematicamente l’organizzazione locale più adatta al problema.
La prima posizione della graduatoria è stata attribuita a Qwen 3.8 Max, con il 76,4% dei criteri soddisfatti, seguito da Claude Sonnet 5.5 con il 74,9% e Wonder Full con il 74,7%. I tre risultati rientrano tuttavia nei rispettivi margini di errore e non consentono di individuare un vincitore statisticamente distinto. Il benchmark comprende complessivamente 504 scenari, suddivisi in parti uguali tra un insieme pubblico di test e uno privato di validazione. I casi sono stati elaborati a partire da richieste reali raccolte da professionisti legali e adattati da sei esperti alle condizioni normative di California, Louisiana, Virginia, New York, Maryland e Texas. Per ciascuno scenario sono stati definiti fatti iniziali, informazioni aggiuntive da ottenere attraverso domande, livelli di difficoltà e rubriche di valutazione contenenti mediamente 15,4 criteri indipendenti. I modelli potevano navigare sul web, consultare documenti e interagire con un cliente simulato tramite GPT-5, mentre un valutatore automatico, Decider v1.2, verificava il soddisfacimento dei criteri definiti dagli esperti.
L’analisi delle conversazioni ha rilevato una media di circa 3,5 scambi, con numerosi modelli orientati a fornire una risposta completa già al primo intervento, prima di aver raccolto le informazioni necessarie. In alcuni casi i sistemi hanno presunto lo Stato di residenza dell’utente o l’esistenza di precedenti provvedimenti giudiziari. Anche una frequenza elevata di domande non ha necessariamente prodotto risultati migliori: GPT-6.1 Sol, pur concludendo l’88% delle prime risposte con una domanda, si è classificato diciottesimo nella capacità di ottenere le informazioni richieste dalle rubriche, con un risultato del 68,1%. Le fonti consultate dai sistemi comprendevano per il 42% norme, regolamenti giudiziari e giurisprudenza, mentre soltanto il 10% riguardava organizzazioni di assistenza legale o siti non profit di supporto pratico.
Le prestazioni sono risultate differenti in funzione della materia. Le controversie abitative e tra proprietari e inquilini hanno raggiunto una media del 75,4%, mentre quelle relative alle prestazioni pubbliche si sono fermate al 57,3%, su un campione di appena cinque scenari. I 110 casi di diritto di famiglia hanno prodotto una media del 71,2%, con risultati inferiori per le visite ai minori, pari al 61,3%, e per l’affidamento a parenti nell’ambito dei servizi di protezione dell’infanzia, pari al 63%. In una controversia della Louisiana relativa alla restituzione di un prestito concordato verbalmente, soltanto otto modelli hanno chiesto se il debito riguardasse un bene immobiliare, quattro hanno segnalato l’effetto della scadenza del termine decennale per agire e tre hanno indirizzato l’utente alla modulistica giudiziaria pertinente. In un caso di New York riguardante un deposito cauzionale, quattordici sistemi hanno suggerito un passaggio stragiudiziale non conforme alle indicazioni della rubrica e soltanto quattro hanno individuato il programma cittadino Right to Counsel.
Il confronto tra modelli disponibili gratuitamente e versioni premium ha mostrato risultati medi rispettivamente del 69,7% e del 70,4%, con differenze generalmente contenute. La classificazione delle versioni gratuite costituisce una stima dei ricercatori, mentre l’utilizzo uniforme delle API non riproduce necessariamente il comportamento delle interfacce commerciali. I risultati sono stati collocati nel contesto delle difficoltà di accesso alla giustizia documentate dalla Legal Services Corporation, secondo cui nel 2022 il 92% dei problemi legali civili delle persone a basso reddito non aveva ricevuto assistenza sufficiente. Vals AI e NextLadder Ventures prevedono ulteriori analisi e materiali destinati agli operatori dell’assistenza legale, concentrandosi sulle differenze tra correttezza dell’informazione giuridica, raccolta delle circostanze rilevanti e individuazione di un intervento concretamente disponibile sul territorio.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)