OpenAI ha pubblicato il 25 del mese un nuovo rapporto sulle minacce in cui vengono documentati numerosi casi di utilizzo improprio di ChatGPT e delle sue API per finalità fraudolente, manipolative e politicamente sensibili. Il documento offre uno spaccato tecnico e operativo di come l’intelligenza artificiale generativa possa essere sfruttata da reti criminali e attori legati a campagne di influenza per amplificare attività di truffa, impersonificazione e disinformazione. Allo stesso tempo, il rapporto evidenzia le misure di mitigazione adottate dall’azienda, tra cui il blocco degli account coinvolti e il rifiuto sistematico di richieste che configurano operazioni segrete o dannose.
Uno dei casi più articolati riguarda un’organizzazione con base in Cambogia che avrebbe utilizzato ChatGPT per strutturare un sistema di truffe sentimentali su larga scala. Secondo il rapporto, il gruppo avrebbe impiegato il modello per creare loghi falsi di servizi di incontri premium, generare immagini artificiali di profili femminili e produrre contenuti testuali per interazioni persuasive. In un episodio riportato, gli operatori avrebbero persino dichiarato la propria professione come “truffatore” durante una richiesta di consulenza fiscale rivolta al sistema, a testimonianza del livello di spregiudicatezza e della percezione dell’IA come strumento operativo neutro da sfruttare.
La struttura della frode seguiva una sequenza ben definita. Le vittime, prevalentemente uomini in Indonesia interessati a contenuti di lifestyle di lusso, venivano intercettate attraverso piattaforme online e indirizzate verso un servizio di incontri fittizio. Dopo la scelta di una relazione con un personaggio femminile inventato, si instaurava una conversazione iniziale mediata da un chatbot presentato come “receptionist giocosa”. Il passaggio successivo prevedeva lo spostamento della comunicazione su Telegram, dove operatori umani, supportati da ChatGPT e dalle API del modello, intrattenevano conversazioni romantiche o esplicitamente sessuali. L’obiettivo era convincere le vittime a iscriversi a servizi premium inesistenti e a completare “missioni” che richiedevano pagamenti progressivamente più elevati tramite bonifici bancari o portafogli digitali. OpenAI ritiene che questa operazione possa aver colpito centinaia di persone ogni mese, evidenziando la scalabilità che l’IA generativa può conferire a schemi fraudolenti già noti.
Un secondo filone di abuso documentato riguarda l’impersonificazione di professionisti e istituzioni statunitensi. OpenAI ha dichiarato di aver disabilitato account che si spacciavano per studi legali, singoli avvocati e forze dell’ordine, alcuni dei quali avevano tentato di ottenere false tessere di iscrizione alla New York State Bar Association. Tali account avrebbero utilizzato ChatGPT per redigere comunicazioni formali, generare contenuti promozionali sui social media e amplificare la credibilità della truffa. Questo caso mette in luce un rischio specifico dell’IA generativa: la capacità di produrre testi formalmente coerenti e convincenti che simulano linguaggio giuridico o istituzionale, abbassando la soglia di accesso a pratiche di impersonificazione sofisticate.
Il rapporto descrive inoltre un caso di particolare rilevanza geopolitica, in cui un individuo ritenuto legato a un’agenzia cinese avrebbe tentato di orchestrare un’operazione di influenza segreta contro il Primo Ministro giapponese Sanae Takaichi, nota per aver espresso critiche pubbliche sulla situazione dei diritti umani in Mongolia. L’utente avrebbe richiesto a ChatGPT un piano operativo dettagliato per condurre un’operazione di intelligence covert. Il sistema avrebbe rifiutato la richiesta, in linea con le policy che vietano assistenza a campagne di manipolazione politica o interferenze. Nonostante il rifiuto, l’utente avrebbe continuato a interagire con il modello, chiedendo perfezionamenti di un presunto “rapporto sulla situazione” relativo alla stessa campagna.
Secondo l’analisi contenuta nel documento, l’operazione in questione avrebbe coinvolto centinaia di persone, migliaia di account falsi e attività coordinate su più piattaforme digitali. Le tattiche descritte comprendono segnalazioni di massa contro account dissidenti, pubblicazione seriale di contenuti, falsificazione di documenti e impersonificazione di funzionari statunitensi. Un elemento tecnicamente significativo è l’adozione di una strategia definita “multi-modello”: oltre a ChatGPT, l’utente avrebbe fatto ricorso a modelli di intelligenza artificiale cinesi come DeepSeek e QOne, presumibilmente per aggirare i meccanismi di blocco e filtraggio implementati da OpenAI. Questa combinazione di modelli open source o alternativi suggerisce un’evoluzione nelle tattiche degli attori malevoli, che non dipendono da un singolo fornitore ma distribuiscono le attività su più sistemi per massimizzare resilienza e continuità operativa.
Ben Nimmo, investigatore senior del team Intelligence e Investigazioni di OpenAI, ha descritto tali attività come una forma di repressione transnazionale che supera il semplice trolling online, definendola un approccio industrializzato alla soppressione delle critiche politiche. L’espressione sottolinea come l’uso coordinato di piattaforme digitali, account falsi e modelli di IA possa trasformare pratiche di influenza in processi sistematici e scalabili, con implicazioni che vanno oltre la singola piattaforma tecnologica.
Dal punto di vista tecnico e normativo, il rapporto ribadisce l’impegno di OpenAI nel bloccare proattivamente gli abusi attraverso sistemi di monitoraggio comportamentale, analisi dei pattern di utilizzo e applicazione rigorosa delle policy di sicurezza. I casi descritti mostrano che, sebbene l’IA generativa possa essere sfruttata per amplificare schemi fraudolenti o campagne di manipolazione, esistono meccanismi di rifiuto e sospensione degli account che limitano la possibilità di ottenere assistenza diretta per attività illegali o dannose.
Il quadro complessivo che emerge è quello di un ecosistema in cui l’intelligenza artificiale generativa rappresenta una tecnologia dual-use: da un lato strumento produttivo e innovativo, dall’altro potenziale moltiplicatore di efficienza per attori malevoli. La risposta, secondo quanto delineato nel rapporto, non consiste solo nel blocco reattivo degli account, ma anche nella trasparenza pubblica sulle modalità di abuso e sull’evoluzione delle minacce. In questo senso, la pubblicazione del documento assume una funzione preventiva e informativa, contribuendo a delineare le dinamiche con cui reti criminali e campagne di influenza cercano di integrare l’IA nei propri processi operativi e indicando al contempo le contromisure adottate per mitigarne l’impatto.