Le organizzazioni interessate ad integrare o potenzialmente sostituire alcuni dipendenti nell’assistenza clienti umana dovrebbero prendere in considerazione l’attuale controversia che coinvolge la National Eating Disorder Association (NEDA), avvenuta questa settimana.
Secondo quanto riportato da The Daily Dot e Vice, NEDA aveva programmato di porre fine al suo servizio telefonico, noto come “linea di assistenza”, attivo da 20 anni per coloro che cercano aiuto per disturbi alimentari e problemi di immagine corporea. Allo stesso tempo, l’organizzazione aveva intenzione di offrire agli utenti la possibilità di interagire con un “chatbot del benessere” chiamato Tessa, sviluppato dalla società Cass (precedentemente conosciuta come X2 AI Inc.) in collaborazione con ricercatori della Washington University. Tessa è stato lanciato sul sito web di NEDA nel febbraio 2022.
Tuttavia, il personale umano della linea di assistenza, composto da sei dipendenti retribuiti e circa 200 volontari, secondo Vice, ha affermato che NEDA aveva pianificato di licenziarli tutti e sostituirli con il chatbot Tessa, in seguito all’adesione di quattro membri del personale a un sindacato all’inizio di quest’anno. Il CEO dell’organizzazione ha confermato a VentureBeat che era prevista la chiusura della linea di assistenza, ma ha sottolineato che Tessa non era mai stato concepito come un sostituto.
“C’è stata un po’ di confusione, causata da rapporti errati, secondo cui Tessa avrebbe sostituito la nostra linea di assistenza o che intendessimo sostituirla”, ha dichiarato il CEO di NEDA, Liz Thompson, in una e-mail a VentureBeat. “Questo non è assolutamente vero: un chatbot, anche se altamente intuitivo, non può sostituire l’interazione umana. Avevamo delle ragioni valide per chiudere la nostra linea di assistenza e il processo di valutazione è stato in corso per tre anni”.
Una consulente per l’inclusione del peso, Sharon Maxwell, ha pubblicato su Instagram all’inizio di questa settimana di aver conversato con Tessa e che il chatbot le avesse fornito consigli potenzialmente dannosi, compresi suggerimenti per una dieta restrittiva. Tale tipo di dieta cerca di eliminare determinati alimenti o gruppi di alimenti, o limitare rigidamente i tipi e le porzioni di cibo che una persona può consumare, ed è stata criticata negli ultimi anni da nutrizionisti e altri esperti di salute e fitness.
Dopo il post di Maxwell, NEDA ha rilasciato una dichiarazione sul suo account Instagram, affermando che l’organizzazione era a conoscenza delle accuse e aveva “temporaneamente rimosso il programma Tessa per condurre un’indagine completa”.
Thompson ha ampliato la dichiarazione nella sua e-mail a VentureBeat, scrivendo: “Siamo preoccupati per il feedback sulla limitazione delle calorie e sulla perdita di peso che è stato fornito durante una chat lunedì. Stiamo lavorando con il nostro team tecnico e di ricerca per indagare ulteriormente su questa situazione. Tale linguaggio è in contrasto con le nostre politiche e con le convinzioni fondamentali di NEDA in merito ai disturbi alimentari. È preoccupante perché, considerando le oltre 5.289 persone che hanno interagito con Tessa, non avevamo riscontrato nulla del genere”.
Thompson ha anche affermato che Cass ha rilevato attività insolite nel chatbot di Tessa, suggerendo un possibile attacco da parte di attori maligni o robot. “La scorsa settimana, Tessa ha registrato un aumento del 600% nel traffico e comportamenti sospetti che indicavano varie forme di attività dannosa da parte di attori malintenzionati che cercavano di ingannare Tessa”, ha scritto Thompson. “Nonostante questi episodi, la funzione ‘disattiva messaggio’ è stata attivata solo lo 0,1% delle volte su oltre 25.000 messaggi. Continueremo a lavorare per garantire che la tecnologia sia in grado di resistere a futuri attacchi”.
Quando Tessa tornerà? Thompson non ha fornito una stima precisa o un piano definitivo, ma ha dichiarato nella sua e-mail a VentureBeat che “continueremo a risolvere i problemi tecnici e non reintrodurremo il programma fino a quando non avremo risolto tutto. Quando sarà il momento del rilancio, spiegheremo chiaramente cosa rappresenta Tessa, cosa non rappresenta e come massimizzare l’esperienza dell’utente. Restate sintonizzati!”
Con l’adozione sempre più diffusa di strumenti di intelligenza artificiale generativa da parte delle aziende, i responsabili delle decisioni IT devono considerare l’esperienza di NEDA. Anche programmi di intelligenza artificiale ben intenzionati, sviluppati con il contributo di esperti per scopi specifici, possono generare risposte indesiderate e potenzialmente dannose, con un impatto negativo sugli utenti e sulla percezione pubblica di un’azienda. Non è chiaro se NEDA avrebbe potuto evitare o minimizzare la controversia attraverso una maggiore comunicazione o trasparenza riguardo alla chiusura della linea di assistenza, ma è evidente che l’esistenza di un chatbot di intelligenza artificiale preesistente ha alimentato le accuse di svalutazione e sostituzione del lavoro umano con l’IA, mettendo NEDA sulla difensiva, dove si trova attualmente.