OpenAI ha segnalato direttamente all’FBI le conversazioni di un utente di ChatGPT nelle quali erano emersi piani concreti per danneggiare e uccidere un’altra persona, contribuendo a un’indagine che ha successivamente portato all’arresto dell’uomo. Il caso riguarda Darren Zhou, ex analista di Goldman Sachs residente in Florida, che dopo la fine della relazione con la propria fidanzata nel marzo 2026 aveva iniziato a utilizzare ChatGPT per parlare della separazione, della gelosia nei confronti dell’ex compagna e del desiderio di tornare insieme. Nel corso delle conversazioni, però, i contenuti erano progressivamente passati dallo sfogo personale alla formulazione di minacce esplicite, comprese dichiarazioni secondo cui avrebbe ucciso la donna entro la fine del mese e riferimenti anche ai suoi familiari come possibili obiettivi.
I sistemi di OpenAI hanno individuato nelle conversazioni elementi compatibili con un rischio grave verso altre persone e il caso è stato sottoposto al processo di revisione previsto dall’azienda. OpenAI ha quindi trasmesso le informazioni all’FBI, che ha successivamente fornito al Palm Beach County Sheriff’s Office circa due mesi di registrazioni delle conversazioni di Zhou con ChatGPT. Gli investigatori hanno esaminato il materiale e hanno ritenuto che i messaggi non rappresentassero semplicemente manifestazioni episodiche di rabbia, ma mostrassero una successione ripetuta di intenzioni, pianificazione e preparazione relativa alle minacce.
Le autorità hanno quindi contattato l’ex fidanzata di Zhou, una donna di 21 anni, per verificarne la sicurezza e raccogliere ulteriori elementi. La giovane ha riferito che, dopo la fine della relazione, Zhou aveva continuato a contattarla attraverso telefonate, messaggi e social network e che aveva manifestato comportamenti ossessivi anche in relazione alle interazioni online della donna. In particolare, avrebbe insistito nel chiederle spiegazioni dopo che un altro uomo aveva pubblicato un commento sotto uno dei suoi contenuti su TikTok. Le conversazioni con ChatGPT sono state utilizzate insieme ai messaggi inviati direttamente alla vittima come parte degli elementi raccolti dagli investigatori.
Zhou è stato arrestato nel maggio 2026 e trattenuto in carcere per due giorni, prima di essere rilasciato dopo il pagamento di una cauzione da 100.000 dollari. La procura lo ha successivamente accusato di stalking aggravato, minacce di omicidio e utilizzo illecito di un telefono cellulare. Zhou si è dichiarato colpevole di tutte e tre le imputazioni e, nell’ambito dell’accordo giudiziario raggiunto, ha evitato una pena detentiva e una condanna per felony, ricevendo invece otto anni di libertà vigilata e l’obbligo di indossare un dispositivo elettronico di monitoraggio per due anni.
Il caso mostra concretamente il funzionamento del sistema di monitoraggio utilizzato da OpenAI per alcune categorie di rischio. Quando i sistemi rilevano conversazioni nelle quali un utente sembra pianificare di provocare danni ad altre persone, il contenuto può essere indirizzato verso pipeline dedicate e sottoposto alla valutazione di un gruppo ristretto di revisori specializzati. Se la revisione umana determina che esiste una minaccia imminente di grave danno fisico verso altre persone, OpenAI prevede la possibilità di trasmettere il caso alle forze dell’ordine. La procedura non implica quindi che ogni conversazione contenente espressioni violente venga automaticamente inviata alla polizia, ma introduce un passaggio intermedio di valutazione umana prima dell’eventuale escalation. OpenAI specifica inoltre che, allo stato attuale, i casi riguardanti esclusivamente intenzioni di autolesionismo o suicidio non vengono segnalati alle forze dell’ordine, tenendo conto della natura particolarmente privata di queste interazioni.
La presenza di questo sistema è stata resa pubblica da OpenAI nel contesto del rafforzamento delle misure dedicate alle conversazioni sensibili e alle situazioni di crisi. L’azienda ha riconosciuto che le protezioni possono risultare meno affidabili durante interazioni molto lunghe, nelle quali il comportamento inizialmente corretto del modello può degradarsi nel corso di numerosi turni di conversazione. Per questo motivo sono stati introdotti sistemi automatici di rilevamento, processi di revisione umana ed escalation per le situazioni considerate più gravi. La documentazione di OpenAI stabilisce esplicitamente che il monitoraggio automatizzato può individuare possibili violazioni delle politiche e che i casi relativi a minacce imminenti verso altre persone possono essere inviati alle autorità dopo una valutazione umana.
Il rafforzamento delle procedure arriva dopo precedenti casi nei quali OpenAI era stata criticata per non avere segnalato anticipatamente alle autorità conversazioni potenzialmente rilevanti relative a episodi di violenza avvenuti in Canada e in Florida. In quelle circostanze i responsabili degli attacchi avrebbero discusso in precedenza con ChatGPT alcuni aspetti legati alle proprie intenzioni, alimentando il dibattito sulla capacità dei fornitori di sistemi AI di riconoscere una minaccia concreta prima che venga trasformata in un’azione reale. Il caso Zhou costituisce invece un esempio nel quale il processo di rilevamento, revisione ed escalation è arrivato fino alla comunicazione diretta con l’FBI.
La vicenda mette anche in evidenza quali dati delle interazioni con un chatbot possano diventare rilevanti all’interno di un’indagine. Nel caso specifico, le conversazioni archiviate sono state fornite agli investigatori e analizzate insieme alle comunicazioni inviate direttamente alla vittima, diventando parte del materiale utilizzato per ricostruire la continuità delle minacce e il comportamento dell’indagato. Parallelamente, rimane aperta la questione relativa ai criteri precisi che determinano il passaggio da un controllo automatizzato alla revisione umana e, successivamente, alla segnalazione alle autorità, perché non vengono pubblicate soglie operative dettagliate che permettano agli utenti di conoscere esattamente quando una conversazione venga sottoposta a questo livello di controllo.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)