L’intelligenza artificiale conversazionale sta portando le grandi aziende del settore a confrontarsi con un tema sempre più centrale: la gestione dei comportamenti a rischio degli utenti. In questo contesto emerge il progetto sviluppato dalla startup neozelandese ThroughLine, che sta collaborando con OpenAI, Anthropic e Google per realizzare un sistema di intervento destinato a individuare precocemente segnali di estremismo o comportamenti potenzialmente pericolosi durante l’uso dei chatbot. L’iniziativa introduce un approccio che combina intelligenza artificiale e supporto umano, superando il modello tradizionale basato sulla semplice moderazione o blocco dei contenuti.
Il sistema sviluppato da ThroughLine è progettato per identificare segnali di rischio nei comportamenti degli utenti, come manifestazioni di estremismo o contenuti violenti, e attivare una risposta graduata. Invece di limitarsi a bloccare l’interazione, la piattaforma punta a indirizzare l’utente verso servizi di supporto, consulenza o assistenza specializzata. Questo approccio viene definito “ibrido” perché combina il rilevamento automatico basato su AI con l’intervento di operatori umani e organizzazioni di supporto.
L’idea nasce dall’osservazione che molti utenti utilizzano i chatbot per esprimere pensieri sensibili o problematici che non condividerebbero facilmente con altre persone. In questo scenario, una semplice interruzione dell’interazione può risultare inefficace o addirittura controproducente. Il sistema di ThroughLine mira invece a trasformare il chatbot in un punto di accesso verso servizi di aiuto, riducendo il rischio che situazioni critiche evolvano senza supporto adeguato.
La startup neozelandese ha già esperienza in questo ambito. In passato ha sviluppato soluzioni per collegare utenti con segnali di rischio, come autolesionismo, violenza domestica o disturbi alimentari, a una rete globale di assistenza. Secondo le informazioni disponibili, il sistema è stato in grado di connettere persone a oltre 1.600 linee di supporto distribuite in 180 Paesi. L’estensione del progetto alla prevenzione dell’estremismo rappresenta quindi un’evoluzione naturale della piattaforma.
Un elemento importante del progetto è il coinvolgimento di organizzazioni specializzate. Tra queste figura l’iniziativa internazionale Christchurch Call, nata dopo l’attacco terroristico del 2019 in Nuova Zelanda con l’obiettivo di contrastare l’estremismo online. Il contributo di questo gruppo fornisce competenze specifiche per la definizione di strategie di intervento e per la gestione dei casi più complessi.
La collaborazione con aziende come OpenAI, Anthropic e Google evidenzia la crescente attenzione del settore AI verso la sicurezza e la responsabilità sociale. Negli ultimi anni le piattaforme conversazionali sono state criticate per la gestione dei contenuti sensibili e per la difficoltà di intervenire in situazioni di rischio. Il nuovo sistema mira a rispondere a queste criticità introducendo un modello di supporto attivo, che non si limita alla moderazione ma prevede azioni concrete.
ça soluzione si basa sull’analisi semantica delle conversazioni e sull’identificazione di pattern linguistici associati a comportamenti pericolosi. Una volta individuati segnali di rischio, il sistema attiva un flusso di risposta che può includere suggerimenti automatici, contatti con servizi di assistenza o intervento umano. Questo modello richiede un’infrastruttura complessa che integra AI, database di servizi e procedure operative per la gestione dei casi.
Gli esperti sottolineano che l’approccio basato sul supporto potrebbe risultare più efficace rispetto al semplice blocco dei contenuti. La moderazione rigida, infatti, può spingere gli utenti verso piattaforme meno controllate, aumentando il rischio di radicalizzazione. Un sistema che propone assistenza e dialogo potrebbe invece contribuire a ridurre la probabilità di escalation.
Il progetto è attualmente in fase di test e non è stata annunciata una data di rilascio. Nonostante ciò, l’iniziativa rappresenta un cambiamento significativo nella gestione della sicurezza delle AI conversazionali. L’integrazione tra rilevamento automatico e supporto umano indica una possibile evoluzione dei chatbot verso strumenti non solo informativi, ma anche di prevenzione e assistenza.