C’è un luogo, nelle valutazioni dei modelli linguistici, in cui le promesse si fanno concrete: non più “capisce più lingue”, ma “regge testi che si allungano, perde meno il filo, recupera il dettaglio giusto anche quando scorre un romanzo di dati”. OneRuler, il benchmark messo a punto da ricercatori di Microsoft e dell’Università del Maryland, vive esattamente qui. È un esame pensato per misurare la comprensione su testi lunghi in ventisei lingue, con prove di recupero e di aggregazione, e con varianti del classico “ago nel pagliaio” così severe da contemplare anche l’assenza dell’ago, costringendo i modelli a dire “non c’è” quando davvero non c’è. È un cambio di passo rispetto ai test di facciata, perché porta a galla differenze che a 8.000 token si nascondono e a 128.000 diventano evidenti.
La fotografia che ne esce sorprende chi pensa all’inglese come misura di tutto. Sui contesti lunghi (64K e 128K), l’inglese non è primo ma sesto per accuratezza media; in cima c’è il polacco, con un risultato che mette in riga aspettative e luogo comune. Il dato non è un’anomalia isolata: tra le lingue che performano meglio figurano famiglie slave, romanze e germaniche, spesso accomunate dall’uso dell’alfabeto latino; più indietro, contro-intuitivamente, compare il cinese. È una gerarchia che racconta come l’ampiezza del pretraining non basti, da sola, a garantire tenuta sui contesti molto lunghi e come alcune scelte di addestramento o di tokenizzazione favoriscano certi sistemi di scrittura. Dentro questo gruppo di testa c’è anche l’italiano, che si muove con naturalezza tra le lingue europee ad alta risorsa, segno che una prosa ricca ma regolare, scandita dall’alfabeto latino e da una punteggiatura prevedibile, aiuta i modelli a non smarrire la traccia.
Che cosa viene davvero messo alla prova lo si capisce guardando i modelli testati: insieme a Qwen 2.5 (7B e 72B) e alle Llama 3.1/3.3, entrano in campo anche due sistemi chiusi, Gemini 1.5 Flash e o3-mini-high. Nel complesso, Gemini 1.5 Flash guida la classifica aggregata, Qwen 2.5 72B segue a ruota, mentre o3-mini-high — pur potente nel ragionamento — fatica proprio quando il contesto si allunga. Il punto è che OneRuler premia meno la brillantezza episodica e più la disciplina: cercare il numero giusto in mezzo a capitoli di testo, elencare le dieci parole più frequenti senza perdersi per strada, riconoscere quando la risposta non esiste. E qui, paradossalmente, i modelli “ragionanti” tendono a sbagliare per eccesso di cautela o di verbosità, rispondendo “none” dove l’ago c’è, o superando i limiti d’uscita perché continuano a spiegare mentre dovrebbero estrarre.
Per la lingua italiana questo scenario è doppiamente interessante. Da un lato, conferma che scrivere in italiano non è uno svantaggio strutturale, neppure quando i documenti sono lunghi: gli esiti più solidi si vedono in quelle lingue che, come la nostra, appartengono a famiglie ben rappresentate nei dati e che adottano una segmentazione del testo relativamente regolare. Dall’altro, suggerisce una cura redazionale nuova quando si preparano prompt o istruzioni per compiti a contesto esteso. OneRuler mostra infatti che cambiare la lingua delle istruzioni può spostare l’accuratezza anche di venti punti percentuali: se il contesto è in una lingua a risorsa più bassa, come il coreano, passare a istruzioni in una lingua ad alte risorse (per esempio inglese o polacco, in esperimenti specifici) può aiutare il modello a “leggere” meglio il filo logico nel mucchio di parole; al contrario, imporre istruzioni in una lingua meno favorita può peggiorare il risultato anche quando il contesto è in inglese. È un invito a separare con più consapevolezza “la voce che spiega il compito” dalla lingua del materiale da analizzare, scegliendo per l’italiano la soluzione che riduce ambiguità e sovraccarico, senza farsi sedurre dall’idea che basti “tradurre tutto in inglese”.
C’è poi la questione, tutta editoriale, delle domande senza risposta. OneRuler inserisce esplicitamente l’opzione “nessuna” nelle istruzioni e questa semplice riga rende all’improvviso più arduo un test in cui altri benchmark restituivano rettangoli perfetti di verde. Molti errori nascono proprio qui: modelli che diventano ipercauti e dichiarano inesistente un ago presente nel testo. Per chi scrive e lavora in italiano, la conseguenza è pratica: bisogna evitare prompt che spingano il modello a rifugiarsi troppo spesso nel “non so”, e insieme costruire verifiche che separino l’assenza reale di risposta dall’incertezza operativa. È un modo di progettare che premia consequenzialità, precisione dei riferimenti, chiarezza sui vincoli.
Il quadro, a questo punto, si ricompone. A 8K token, quasi tutte le lingue “reggono”; mentre il contesto cresce, si allarga il divario tra lingue ad alta e a bassa risorsa, e affiorano differenze che non si spiegano solo con la quantità di dati usati in pretraining. L’italiano si conferma nel drappello di quelle in cui l’accuratezza resta alta anche quando i capitoli si sommano, e insieme impara una lezione di metodo: non tutte le scelte che facciamo nei prompt sono neutre. L’etichetta “istruzioni in italiano” o “in inglese” non è un vezzo stilistico; può cambiare davvero la resa finale, specie se la richiesta è di recupero puntuale in un oceano di testo. E nel disegno più ampio, colpisce che i risultati migliori arrivino da famiglie linguistiche vicine per struttura e scrittura: non un destino, ma un indizio su come i sistemi attuali organizzano il mondo delle parole.
Chiudendo la pagina dei numeri, resta una riflessione meno tecnica e più culturale. Se un benchmark costruito con cura — libri diversi per lingua, istruzioni localizzate da parlanti nativi, sette compiti che non premiano solo la memoria — ci dice che la nostra lingua se la cava bene quando la lettura si fa lunga, allora la scelta di lavorare “in italiano” con l’IA non è un atto di provincialismo, ma di efficienza e di qualità. Significa poter scrivere istruzioni nel tono e nella sintassi che sappiamo governare meglio; significa ottenere risposte che non scivolano su dettagli di punteggiatura o su sfumature semantiche appiattite dall’inglese; significa, soprattutto, ricordare che un modello non “sa” le lingue: le attraversa in base a come le ha incontrate e a come gli chiediamo di leggerle. OneRuler non premia l’italiano per nazionalismo, lo premia quando la nostra lingua gli offre una strada chiara in mezzo ai capitoli. Sta a noi, da ora, scrivere quelle strade con più attenzione.