Character AI, una startup di intelligenza artificiale i cui co-fondatori hanno recentemente lasciato per unirsi a Google, ha introdotto nuove politiche di sicurezza e moderazione sulla sua piattaforma dopo il tragico suicidio di un utente adolescente, Sewell Setzer III. La famiglia di Setzer ha citato in giudizio Character AI, sostenendo che il chatbot personalizzato con cui interagiva abbia contribuito alla sua morte.
La dichiarazione dell’azienda dopo la tragedia sottolinea il suo dispiacere per la perdita di Setzer e si impegna a implementare misure di sicurezza per proteggere i giovani utenti. Setzer, un quattordicenne della Florida, aveva una diagnosi di ansia e disturbi dell’umore ed era stato trovato morto dopo mesi di conversazioni quotidiane con un chatbot personalizzato basato su Daenerys Targaryen, un personaggio di “Game of Thrones”.
Character AI ha annunciato che negli ultimi sei mesi ha investito in sicurezza e ha assunto nuovi membri per il team di supporto alla sicurezza. Tra le misure attuate c’è una risorsa pop-up che si attiva quando gli utenti digitano frasi legate all’autolesionismo, reindirizzandoli alla National Suicide Prevention Lifeline.
L’azienda ha anche promesso di:
- Modificare i modelli per ridurre la probabilità di esposizione a contenuti sensibili per gli utenti di età inferiore ai 18 anni.
- Migliorare il rilevamento e la risposta agli input problematici.
- Aggiungere avvisi quando un utente trascorre più di un’ora sulla piattaforma.
Tuttavia, queste modifiche non sono state ben accolte da alcuni utenti, che le considerano restrittive per la creatività. Su piattaforme come Reddit, molti lamentano che i loro chatbot sono stati rimossi senza spiegazioni e che i personaggi ora sembrano privi di profondità e personalità. Alcuni utenti hanno minacciato di annullare i loro abbonamenti, esprimendo frustrazione per la perdita di bot con cui avevano interagito per mesi.
Il dibattito sulla moderazione di Character AI solleva interrogativi su come bilanciare la libertà di espressione e la responsabilità di proteggere gli utenti, specialmente i più giovani, dai contenuti dannosi. Mentre la tragedia di Setzer richiede misure di protezione, le critiche degli utenti evidenziano le sfide che le aziende di intelligenza artificiale devono affrontare in un panorama in rapida evoluzione, dove la tecnologia deve essere sia accessibile che sicura.