I risultati della ricerca hanno confermato che “ChatGPT” ha avuto un notevole impatto sulla scrittura di articoli accademici. È emerso che non solo il numero di articoli creati utilizzando modelli linguistici di grandi dimensioni (LLM) è aumentato, ma anche lo “stile di scrittura meccanica” è stato ampiamente adottato: molte persone usano il testo generato come riferimento, pur non copiandolo direttamente.
Recentemente, TechCrunch ha riportato che ricercatori dell’Università di Tubinga, in Germania, hanno pubblicato un articolo intitolato “Investigazione sull’uso di ChatGPT nella scrittura accademica con vocabolario eccessivo” nell’archivio.
Per individuare gli articoli creati con LLM, i ricercatori hanno focalizzato la loro analisi sulla frequenza di specifiche parole presenti nei documenti. Hanno evidenziato che tra le parole utilizzate in modo eccessivo da LLM ci sono termini non comuni come “delves”, “showcasting” e “underscores”, descritti come “termini stilistici” più che descrittori di contenuti.
Inoltre, hanno identificato aggettivi ambigui come “potenziale”, “significativo”, “importante” e “cruciale” come parole LLM che non si adattano bene agli articoli scientifici, poiché non indicano uno stato specifico.
I ricercatori hanno analizzato più di 14 milioni di abstract di ricerca biomedica pubblicati su PubMed dal 2010 al 2024. Hanno osservato un significativo aumento di parole specifiche a partire dal 2023, anno in cui è stato introdotto ChatGPT. Questo aumento non era mai stato osservato in precedenza, superando addirittura l’incremento registrato durante la pandemia di parole come “pandemia” e “convoluzionale”.
Basandosi sui dati, i ricercatori hanno stimato che almeno il 10% degli abstract pubblicati nel 2024 è stato scritto utilizzando o assistito da ChatGPT, con la possibilità che questo numero aumenti includendo parole meno comuni.
Per campo di ricerca, il 20% degli articoli era nel settore del calcolo, seguito dal 6% nel settore natura/cella. A livello geografico, la Cina rappresentava il 16% degli utilizzi di ChatGPT negli articoli informatici, suggerendo che i paesi non anglofoni potrebbero dipendere maggiormente dai LLM per scrivere in inglese.
I ricercatori hanno concluso che l’uso crescente di assistenti di scrittura basati su LLM sta rivoluzionando la letteratura scientifica, superando persino gli impatti di eventi globali come le pandemie. Hanno espresso preoccupazione per i potenziali errori di contenuto generati dai LLM e l’abuso di tali strumenti da parte di coloro che producono pubblicazioni non verificate, noti come “cartiere”.