L’introduzione di ChatGPT lo scorso novembre ha portato a un rapido aumento dell’adozione da parte degli utenti e delle aziende. Tuttavia, non si può ignorare la serie di rischi che questa nuova tecnologia ha portato con sé. Un recente rapporto di Group-IB, un’azienda di sicurezza informatica, ha rivelato che più di 100.000 account di ChatGPT sono stati compromessi e i relativi dati sono stati scambiati illegalmente sul dark web. In particolare, l’India ha subito il furto di ben 12.632 credenziali.
Nel mese di marzo, un bug in una libreria open source ha permesso a alcuni utenti di ChatGPT di visualizzare i titoli dalla cronologia chat di altri utenti attivi. Aziende come Google, Samsung e Apple hanno addirittura vietato ai propri dipendenti di utilizzare robot generativi basati sull’intelligenza artificiale.
Secondo Venkatesh Sundar, fondatore e presidente delle Americhe presso Indusface, l’IA generativa viene adottata in modo rapido senza una sufficiente considerazione dei rischi. Egli sostiene che l’utilizzo di modelli di linguaggio generativi creati da terzi comporta il pericolo di utilizzare modelli compromessi che potrebbero interessare tutte le applicazioni che li utilizzano. Questo rischio può essere paragonato all’utilizzo di codice e plug-in di terze parti o open source.
I rischi relativi alle API non sono una novità. Nel rapporto del 2019, Gartner aveva già previsto che gli attacchi informatici alle API sarebbero diventati una forma prevalente di attacco. Un sondaggio condotto da Salt Security, una delle principali aziende di sicurezza API, ha confermato che uno stupefacente 91% delle aziende ha riscontrato problemi di sicurezza legati alle API nell’ultimo anno.
Ora, con sempre più aziende che cercano di sfruttare le API dei modelli di linguaggio generativo, la principale preoccupazione riguarda la fuga o l’esposizione di dati sensibili attraverso questi strumenti. Sebbene alcune applicazioni delle interfacce di linguaggio naturale, come la funzionalità di ricerca, possano comportare rischi minori per la sicurezza, l’uso di modelli di linguaggio generativi per attività come l’analisi, la reportistica e la generazione di regole amplia il potenziale di attacchi e vulnerabilità.
Esiste il rischio di violazione dei dati o di accesso non autorizzato a tali informazioni, con conseguenti potenziali violazioni della privacy e fuga di dati. Satnam Narang, ingegnere di ricerca senior presso Tenable, afferma che nonostante l’enfasi sull’uso e la disponibilità dell’IA generativa, i gruppi di ransomware continuano a causare il caos e a riuscire a violare le organizzazioni in tutto il mondo.
Inoltre, Sundar sottolinea che le organizzazioni dovrebbero prevedere attacchi o tentativi di corrompere il set di dati. Gli hacker potrebbero tentare di inserire dati dannosi o distorti nel set di dati stesso, influenzando così le risposte e i risultati del modello di linguaggio generativo. Kiran Vangaveti, fondatore e CEO di BluSapphire Cyber Systems, afferma che decisioni aziendali importanti potrebbero basarsi su questi dati, senza una comprensione approfondita del funzionamento del modello AI o della validità dei dati utilizzati nel processo.
All’inizio di quest’anno, i ricercatori dell’Università di Saarland hanno presentato un documento sugli attacchi di ingegneria rapida nei chatbot. Hanno scoperto un metodo per iniettare prompt indirettamente, utilizzando applicazioni integrate come Bing Chat e GitHub Copilot, aumentando così la superficie di attacco per gli hacker. I prompt inseriti potrebbero raccogliere informazioni sull’utente e consentire attacchi di social engineering.
OpenAI e altre organizzazioni riconoscono l’importanza di affrontare i rischi associati alle API e hanno adottato misure precauzionali. OpenAI, ad esempio, è sottoposta a controlli di sicurezza di terze parti, mantiene la conformità SOC 2 Type 2 e svolge test di penetrazione annuali per individuare e risolvere potenziali vulnerabilità di sicurezza prima che possano essere sfruttate da persone malintenzionate.
Tuttavia, Sundar ritiene che la sicurezza sia complessa e che proteggere le query in linguaggio naturale sia molto più complicato. Afferma che anche se sono stati creati controlli di accesso, molti attacchi sfruttano diversi prompt o sequenze di prompt per ottenere informazioni riservate. Ad esempio, quando ChatGPT ha bloccato la richiesta di generare malware, le persone hanno trovato un modo per aggirarlo e ora chiedono a ChatGPT di fornire uno script per test di penetrazione.
Vangaveti concorda sul fatto che comprendere i framework di sicurezza necessari per proteggersi dagli utilizzi dannosi dei dati è un compito complesso. Tuttavia, man mano che questa area si sviluppa, emergeranno nuovi framework e migliori pratiche. Inoltre, le aziende stanno anche esplorando molte soluzioni di modelli di linguaggio generativo open source come alternative. Tuttavia, tali modelli open source potrebbero essere più vulnerabili agli attacchi informatici a causa della loro disponibilità e natura aperta. Poiché il codice sorgente e l’architettura sono accessibili a tutti, diventa più facile per gli aggressori identificare e sfruttare le vulnerabilità.
Narang ritiene che la soluzione potrebbe essere quella di sviluppare internamente capacità di intelligenza artificiale generativa. Afferma che se si continua a fare affidamento su strumenti esterni per ottenere funzionalità di IA generativa, si incorrerà sempre in un rischio intrinseco nel consegnare i dati a terze parti, a meno che non si abbiano piani per sviluppare e mantenere queste capacità internamente. Samsung, ad esempio, ha annunciato che svilupperà le proprie capacità di intelligenza artificiale generativa dopo che dati sensibili sono stati accidentalmente condivisi con ChatGPT da alcuni dei suoi dipendenti.
Le capacità di codifica di ChatGPT, come la scrittura di codice e la correzione di bug, sono state sfortunatamente sfruttate da persone malintenzionate per sviluppare malware. Vangaveti afferma che gli aggressori sono in grado di profilare rapidamente i bersagli e creare codice di attacco personalizzato con poca esperienza. Possono sviluppare rapidamente malware su misura.
Alcuni esperti ritengono che ChatGPT e DALL-E rappresentino un rischio ancora maggiore per gli utenti non API. Narang afferma che il malware che ruba informazioni, come Raccoon, Vidar e Redline, è in grado di sottrarre informazioni sensibili memorizzate nei browser web, tra cui le credenziali degli utenti (nome utente/e-mail e password), i cookie di sessione e la cronologia del browser.
Inoltre, i ricercatori della società di rilevamento delle minacce HYAS hanno dimostrato un concetto chiamato BlackMamba, dimostrando come le API dei modelli di linguaggio generativo possono essere utilizzate nel malware per eludere il rilevamento. Hanno creato un semplice esempio sfruttando un modello di linguaggio di grandi dimensioni per sintetizzare al volo la funzionalità di un keylogger polimorfico, modificando dinamicamente il codice benigno durante l’esecuzione, il tutto senza alcuna infrastruttura di comando e controllo per fornire o verificare la funzionalità dannosa del keylogger.
Quindi, senza dubbio, l’ampia adozione dell’IA generativa ha sollevato preoccupazioni riguardo ai rischi per la sicurezza, tra cui le vulnerabilità delle API e l’esposizione dei dati. Le organizzazioni devono implementare solide misure di sicurezza e rimanere vigili per mitigare efficacemente questi rischi.