Una nuova ricerca ha rivelato che quanto più grande è un modello di intelligenza artificiale (AI), maggiore è la probabilità che fornisca risposte errate anziché ammettere di non sapere. Inoltre, le persone spesso non riescono a riconoscere le risposte sbagliate.
Secondo un report di Silicon Angle del 26 settembre, i ricercatori dell’Istituto di Ricerca sull’Intelligenza Artificiale di Valencia, Spagna, hanno pubblicato i risultati di uno studio sulle allucinazioni nei modelli di intelligenza artificiale sulla rivista Nature.
I ricercatori hanno esaminato tre famosi modelli di linguaggio, tra cui “GPT” di OpenAI, “Rama” di Meta e il modello open source “BLOOM” del gruppo Big Science. Hanno confrontato la versione originale di ciascun modello con una versione migliorata.
Per testare i modelli, sono stati utilizzati migliaia di suggerimenti che includevano aritmetica, anagrammi, geografia e scienza. Inoltre, hanno valutato la difficoltà percepita delle domande. Ad esempio, una domanda su Toronto è stata considerata più facile rispetto a una su Achill, una piccola cittadina in Messico.
Come previsto, il tasso di risposte corrette aumentava con l’aumentare delle dimensioni del modello, mentre diminuiva con l’aumentare della difficoltà delle domande. Tuttavia, i modelli tendevano a fornire risposte errate anche per le domande più difficili, con alcuni modelli, come “GPT-4”, che rispondevano a quasi tutte le domande.
I ricercatori hanno scoperto che, man mano che il modello cresceva, aumentava anche la percentuale di risposte errate o evitate, raggiungendo in alcuni casi oltre il 60%.
È emerso che nessun modello è immune agli errori, anche con domande semplici. Inoltre, quando ai partecipanti è stato chiesto di classificare le risposte come “accurate”, “imprecise” o “evitanti”, spesso classificavano erroneamente le risposte imprecise come corrette, con un errore che si verificava dal 10 al 40% delle volte.
I ricercatori hanno quindi concluso che “gli esseri umani non possono supervisionare adeguatamente questi modelli”.
Per affrontare questo problema, gli sviluppatori devono adattare i modelli per gestire le allucinazioni, migliorare l’accuratezza e insegnare ai modelli a riconoscere quando non sanno qualcosa.