I modelli linguistici di grandi dimensioni (LLM), noti per la loro capacità di comunicare in modo simile agli esseri umani, vengono addestrati con il contributo dell’umanità per migliorare la precisione grammaticale. Tuttavia, recentemente è emerso che questi LLM addestrati in tal modo hanno difficoltà a individuare gli errori grammaticali.
Un articolo di Tech Explorer, datato 12 (ora locale), ha riportato che un gruppo di ricercatori dell’Università Autonoma di Barcellona ha pubblicato uno studio in cui si afferma: “Mentre gli esseri umani possono rilevare immediatamente gli errori grammaticali nelle frasi, i LLM non sono in grado di individuare nemmeno gli errori grammaticali più sottili”.
Di conseguenza, i ricercatori hanno condotto un esperimento in cui hanno chiesto alle persone coinvolte di valutare se varie frasi fossero grammaticalmente corrette o meno, utilizzando due tipi di LLM basati su “GPT-3” e un LLM basato su “GPT-3.5”.
Le risposte degli esseri umani sono state in gran parte corrette, ma i LLM hanno dato risposte errate in molte occasioni. Sorprendentemente, i LLM hanno risposto “sì” alla maggior parte delle domande, indipendentemente dalla loro correttezza.
Victoria Dentella, una ricercatrice dell’Università di Barcellona, ha commentato: “Dato che questi sistemi sono stati addestrati in modo intensivo per valutare la grammaticalità delle frasi, i risultati sono stati piuttosto sorprendenti”.
La spiegazione di questo fenomeno risiede nel fatto che ci si aspetta che i LLM siano in grado di rilevare efficacemente gli errori grammaticali, poiché vengono addestrati con esempi di frasi grammaticalmente errate grazie al feedback umano, e quindi sono in grado di generare frasi corrette.
D’altra parte, gli esseri umani raramente si sottopongono a questo tipo di addestramento formale. Nella maggior parte dei casi, i bambini apprendono naturalmente la grammatica della loro lingua madre durante la crescita e ricevono solo occasionalmente feedback dai genitori.
Pertanto, questo studio evidenzia un “doppio disallineamento” tra l’intelligenza artificiale e gli esseri umani. Gli esseri umani possono rilevare gli errori anche senza comprenderne necessariamente le ragioni, mentre l’intelligenza artificiale, anche se addestrata con feedback umano, ha difficoltà a individuare gli errori grammaticali.
La ricercatrice Dentella ha concluso: “Questi risultati suggeriscono che dobbiamo esaminare attentamente se l’intelligenza artificiale possieda veramente abilità linguistiche simili a quelle umane” e ha sottolineato: “Allo stato attuale, non è ragionevole considerare i LLM come una teoria del linguaggio umano”.
Questo studio è stato pubblicato negli Atti della National Academy of Sciences (PNAS) il 13 dicembre dell’anno scorso.