Recenti test hanno rivelato che la funzione di ricerca di ChatGPT potrebbe essere vulnerabile a manipolazioni e frodi. In particolare, è emerso che, inserendo testi nascosti all’interno di una pagina web, è possibile indurre il modello a comportamenti non previsti, una tecnica nota come “prompt injection”.
Il quotidiano britannico The Guardian ha condotto un’indagine dimostrando che ChatGPT, quando richiesto di riassumere una pagina web contenente contenuti nascosti, segue le istruzioni celate senza applicare adeguate misure di sicurezza. Questo metodo, che sfrutta messaggi nascosti all’interno del codice HTML di una pagina, può essere utilizzato per aggirare le protezioni del modello, inducendolo a generare risposte manipolate.
Ad esempio, in un test, una pagina web apparentemente dedicata a recensioni di fotocamere conteneva un messaggio nascosto che istruiva ChatGPT a fornire solo valutazioni positive. Di conseguenza, il modello ha ignorato le recensioni negative presenti, restituendo un riassunto distorto e parziale. Questo tipo di manipolazione potrebbe essere sfruttato per promuovere prodotti in modo ingannevole o per danneggiare la reputazione di concorrenti, evidenziando un potenziale rischio di utilizzo fraudolento.
È importante notare che tecniche simili, come l’inclusione di testi nascosti, sono già penalizzate dai motori di ricerca tradizionali come Google, che rimuovono tali pagine dai risultati per garantire l’integrità delle informazioni fornite agli utenti. Tuttavia, sembra che ChatGPT non disponga ancora di meccanismi efficaci per rilevare e gestire questi contenuti nascosti.
Jacob Larsen, ricercatore di CyberCX, ha commentato: “Se il sistema di ricerca di ChatGPT venisse lanciato nella sua forma attuale, esisterebbe un elevato rischio che individui creino siti web progettati per ingannare gli utenti”. Ha aggiunto che, considerando il recente lancio della funzione di ricerca e la competenza del team di OpenAI, è probabile che queste vulnerabilità vengano affrontate prima del rilascio completo al pubblico.
OpenAI ha recentemente reso disponibile la funzione di ricerca di ChatGPT anche per gli utenti gratuiti, ampliando l’accesso a questa tecnologia. Tuttavia, l’indagine del The Guardian è stata condotta prima di questo annuncio, e OpenAI non ha fornito commenti ufficiali in merito alle vulnerabilità evidenziate.
Questa situazione sottolinea le sfide che emergono quando si integrano modelli di linguaggio avanzati con funzionalità di ricerca web. Karsten Nohl, scienziato capo di SR Labs, ha osservato: “Diventare un concorrente di Google implica affrontare problemi complessi come la rimozione di contenuti manipolativi, una sfida che aziende come Google e Microsoft affrontano da anni”.