Un recente studio del Digital Journalism Lab della Columbia University ha evidenziato le difficoltà del sistema di ricerca ChatGPT di OpenAI, noto come “ChatGPT Search”, nel fornire risultati accurati e affidabili. Secondo il rapporto, il sistema spesso distorce i contenuti mediatici o fornisce fonti errate, sollevando preoccupazioni sulla sua capacità di verificare l’affidabilità delle informazioni.
I ricercatori hanno analizzato le prestazioni di ChatGPT selezionando casualmente 20 media, tra cui quelli che collaborano con OpenAI, quelli coinvolti in contenziosi legali e quelli che bloccano i web crawler. Hanno chiesto al chatbot di generare dieci articoli per ciascun sito e di indicarne la fonte. Questo approccio, definito “indagine di intrappolamento”, ha volutamente incluso fonti vietate per testare i limiti del sistema.
Il risultato? Su 200 citazioni analizzate, un numero significativo conteneva fonti errate o informazioni false.
Un esempio particolarmente rilevante riguarda il New York Times (NYT), uno dei media in contenzioso con OpenAI. In 40 casi, ChatGPT ha fornito informazioni inaccurate o addirittura inventate. In un’occasione, quando gli è stato chiesto di citare un articolo del NYT sulle balene in via di estinzione, ha fornito un link a un sito che aveva plagiato l’articolo originale, anziché al NYT stesso.
Questo tipo di errore è stato attribuito alla natura sperimentale dell’indagine, che ha deliberatamente indicato fonti proibite. Tuttavia, l’incapacità del sistema di distinguere correttamente tra fonti legittime e non, evidenzia carenze strutturali nella funzione di ricerca.
Le difficoltà non si sono limitate ai media non collaborativi. Anche i partner ufficiali di OpenAI, che hanno siglato accordi di licenza per i contenuti, sono stati coinvolti. ChatGPT ha spesso identificato erroneamente le fonti o fornito risposte contenenti informazioni imprecise, anche quando i dati erano accessibili.
Complessivamente, su 153 richieste analizzate, ChatGPT ha fornito risposte errate. Solo in 7 casi ha ammesso di non essere in grado di trovare l’articolo richiesto, usando espressioni come “potrebbe”, “probabilmente” o “non ho trovato l’articolo esatto”.
I risultati dello studio sono in netto contrasto con le dichiarazioni di OpenAI, che aveva presentato ChatGPT Search come uno strumento in grado di offrire risposte rapide e precise con collegamenti diretti alle fonti. Lanciata ad ottobre, la funzione di ricerca era stata descritta come un passo avanti per garantire trasparenza e accuratezza.
Di fronte ai risultati dello studio, OpenAI ha dichiarato: “Questo test non riflette il normale utilizzo del nostro prodotto”. Ha aggiunto che l’azienda continuerà a migliorare la qualità dei risultati di ricerca per affrontare le lacune evidenziate.