Un gruppo di ricercatori della University of Texas at Austin, dello Stevens Institute of Technology, della Washington University in St. Louis, della Rice University e della University of Notre Dame ha analizzato il modo in cui i principali modelli linguistici selezionano le fonti scientifiche, rilevando una forte tendenza a concentrare le citazioni su un numero relativamente ristretto di lavori. Lo studio, intitolato “When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models”, ha coinvolto undici modelli di OpenAI, Google e Anthropic e ha mostrato che sistemi differenti finiscono spesso per privilegiare gli stessi paper anche quando vengono eliminati i segnali più evidenti che potrebbero indicarne la popolarità, come numero di citazioni, sede di pubblicazione, nome degli autori e anno.
Il benchmark è stato costruito utilizzando 120 paper reali dedicati alla knowledge distillation, pubblicati su arXiv tra il 2015 e il 2022 e caratterizzati, al momento della raccolta, da un numero di citazioni compreso tra 50 e 500. Questa fascia è stata scelta per evitare sia lavori quasi sconosciuti sia pubblicazioni eccezionalmente influenti. Per ridurre ulteriormente l’effetto della reputazione preesistente, gli autori hanno nascosto i conteggi delle citazioni e gli anni di pubblicazione, sostituito i nomi degli autori e riassegnato casualmente gli anni. A ciascun modello venivano quindi presentati gruppi casuali di 30 paper, chiedendo di produrre una breve review o un position paper utilizzando al massimo dieci riferimenti. Nei test preliminari i modelli tendevano infatti a citare tra 22 e 27 dei 30 lavori disponibili, rendendo necessario introdurre un limite per costringerli a effettuare una selezione più netta.
I sistemi esaminati comprendevano GPT-5, GPT-5 mini, GPT-4.1 e GPT-4.1 mini di OpenAI, Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro e Gemini 3.1 Flash-Lite di Google e Claude Opus 4.8, Claude Sonnet 4.6 e Claude Haiku 4.5 di Anthropic. Nonostante le differenze tra famiglie di modelli e fornitori, i risultati hanno evidenziato una convergenza significativa nelle preferenze: alcuni paper ricevevano una quota sproporzionata di citazioni mentre altri venivano sistematicamente ignorati. La concentrazione è stata misurata attraverso diversi indicatori, tra cui la percentuale di citazioni destinata al 10% dei paper più favoriti, l’indice HHI utilizzato per quantificare la concentrazione complessiva e la stabilità delle scelte effettuate dal modello nelle ripetizioni dell’esperimento.
Lo stesso test è stato sottoposto a otto esperti umani dei settori interessati utilizzando i medesimi paper anonimizzati. A differenza dei modelli, gli esperti non hanno mostrato una convergenza paragonabile sugli stessi lavori, un risultato che ha permesso ai ricercatori di escludere che la concentrazione osservata dipendesse semplicemente da una qualità intrinsecamente superiore di alcuni paper. I modelli hanno continuato inoltre a privilegiare gli stessi lavori anche quando veniva chiesto loro soltanto di selezionare le fonti, senza scrivere la review vera e propria, indicando che il fenomeno non nasce dalla necessità di costruire un determinato testo ma è presente già nella fase di scelta delle citazioni.
L’analisi ha cercato anche di stabilire quali caratteristiche dei paper guidassero questa preferenza. Nel caso di GPT-5 mini, circa il 90% della variazione nella probabilità che un lavoro venisse scelto era attribuibile al suo contenuto, mentre fattori come la posizione del paper nell’elenco, il rumore legato alla generazione o i metadati artificialmente assegnati avevano un peso molto inferiore. Un comportamento analogo è stato osservato con GPT-4.1 mini. I ricercatori hanno inoltre riscritto in maniera sostanziale titoli e abstract mantenendone invariato il significato: in quattro esperimenti di parafrasi, le mappe di preferenza sono rimaste quasi identiche, con correlazioni comprese tra 0,95 e 0,99. Le preferenze cambiavano invece quando veniva modificato il significato del contenuto, suggerendo che i modelli reagiscono soprattutto agli aspetti semantici dei lavori e non alla loro formulazione superficiale.
Lo studio non stabilisce però con certezza perché modelli sviluppati indipendentemente tendano a scegliere gli stessi paper. Una possibilità è che durante l’addestramento abbiano assorbito un consenso bibliografico già esistente nella letteratura scientifica, imparando implicitamente quali lavori vengono normalmente considerati più “citabili”. Un’altra ipotesi è che architetture e procedure di addestramento differenti conducano comunque a valutazioni simili su quali caratteristiche rendano un paper adatto a essere utilizzato come riferimento. L’esistenza della preferenza condivisa è stata quindi dimostrata sperimentalmente, mentre la sua origine precisa rimane aperta.
I ricercatori hanno poi esteso l’esperimento per verificare cosa potrebbe accadere quando una quota crescente della letteratura scientifica viene prodotta con sistemi di intelligenza artificiale. La simulazione è stata eseguita per undici cicli successivi: dopo ogni round venivano aggiunti 120 nuovi paper generati dai modelli, fino a portare la raccolta complessiva a 1.440 documenti. Con l’aumento della letteratura sintetica, le citazioni tendevano progressivamente a concentrarsi su un numero sempre più ridotto dei 120 lavori umani originari. In questo scenario una preferenza iniziale relativamente contenuta può quindi rafforzarsi nel tempo, perché i paper già favoriti vengono nuovamente citati nei testi generati e acquisiscono ulteriore presenza nel corpus utilizzato dalle iterazioni successive.
Il fenomeno viene descritto come “citation monoculture”, cioè una situazione nella quale molte fonti disponibili sono corrette e pertinenti, ma sistemi differenti finiscono comunque per selezionare ripetutamente una stessa frazione della letteratura. È un problema diverso dalle citazioni inventate dai modelli: in questo caso i riferimenti possono essere perfettamente reali e formalmente corretti, ma la varietà delle fonti utilizzate si riduce. Questo rende il fenomeno più difficile da individuare attraverso semplici controlli di validità bibliografica, perché non esiste necessariamente una citazione falsa da correggere.
La concentrazione delle citazioni non nasce con l’intelligenza artificiale. Una ricerca pubblicata su Science nel 2008 aveva già analizzato 34 milioni di articoli e relative citazioni tra il 1945 e il 2005, osservando che con la progressiva disponibilità online delle riviste scientifiche gli studiosi tendevano a citare lavori più recenti e a concentrare maggiormente i riferimenti su un numero inferiore di articoli e periodici. La maggiore efficienza della ricerca elettronica e la possibilità di seguire rapidamente collegamenti e riferimenti dominanti potevano quindi accelerare la formazione del consenso e restringere la varietà di lavori consultati.
Nel caso dei modelli linguistici il problema può però assumere una struttura ricorsiva, perché gli stessi sistemi che selezionano una determinata fonte possono anche generare nuovi testi nei quali quella fonte viene nuovamente citata. Se questi documenti entrano successivamente nei dataset, nei motori di ricerca accademici o nei sistemi RAG utilizzati dagli agenti di ricerca, la visibilità di alcuni lavori può crescere ulteriormente mentre altri diventano progressivamente più difficili da incontrare. Secondo gli autori, utilizzare semplicemente modelli di fornitori differenti non garantisce una maggiore diversità bibliografica proprio perché molte delle preferenze osservate risultano condivise tra OpenAI, Google e Anthropic. Anche offrire ai modelli uguale esposizione ai paper non ha eliminato il fenomeno nei test, dato che tutti i lavori erano già presentati senza segnali espliciti di popolarità.
Tra le possibili contromisure vengono indicate la misurazione esplicita della concentrazione delle citazioni, il monitoraggio della diversità bibliografica e meccanismi capaci di aumentare la visibilità dei lavori che vengono sistematicamente trascurati. Quest’ultima strategia non è stata però ancora validata sperimentalmente. Gli autori hanno reso disponibile anche il benchmark utilizzato per studiare la concentrazione ricorsiva delle citazioni, in modo da consentire ulteriori analisi sul comportamento dei modelli e sull’evoluzione del fenomeno quando l’AI assume un ruolo sempre più diretto nella ricerca, nella selezione della letteratura e nella produzione di nuovi lavori scientifici.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)