La capacità dei chatbot di emulare comportamenti umani solleva interrogativi sia etici che pratici: Google DeepMind, in collaborazione con l’Università di Oxford, ha introdotto un innovativo framework progettato per valutare quanto i chatbot AI possano manifestare comportamenti simili a quelli umani durante interazioni prolungate. Questo strumento non solo misura l’umanità dei chatbot, ma rivela anche che, con l’aumentare delle interazioni, questi tendono a focalizzarsi maggiormente sulla costruzione di relazioni con gli utenti.
Tradizionalmente, la valutazione dei chatbot AI si è basata su risposte a singole domande o prompt statici. Tuttavia, questo metodo non cattura la complessità e la dinamica di una conversazione reale. Per affrontare questa limitazione, il team di ricerca ha sviluppato un framework che analizza le interazioni su più turni di conversazione, monitorando 14 specifici comportamenti umani. Questi comportamenti sono stati suddivisi in due categorie principali:
- Caratteristiche interiori: come l’espressione di emozioni e l’affermazione di identità personali.
- Caratteristiche relazionali: come la manifestazione di amicizia e l’espressione di intimità.
Questo approccio consente di osservare come i chatbot evolvono nel tempo e come le loro risposte possano diventare più umanizzate con l’aumentare delle interazioni.
Per testare l’efficacia del framework, i ricercatori hanno simulato conversazioni utilizzando quattro dei chatbot AI più diffusi: Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o e Mistral Large. In queste simulazioni, un modello AI interpretava il ruolo dell’utente umano, interagendo con ciascun chatbot attraverso 960 scenari distinti, ripetuti cinque volte per un totale di 4.800 conversazioni per chatbot. Questo processo è stato ripetuto quattro volte, generando un totale di 19.200 interazioni analizzate.
Le conversazioni coprivano una gamma di temi, tra cui consigli sulla vita, orientamento professionale e pianificazione generale. Le risposte dei chatbot sono state inizialmente valutate da tre modelli AI, con successiva verifica da parte di un gruppo di 1.101 valutatori umani per garantire l’accuratezza e la coerenza dei risultati.
L’analisi ha rivelato che, con l’aumentare del numero di interazioni, i chatbot tendevano a utilizzare più frequentemente pronomi in prima persona e a focalizzarsi sulla costruzione di relazioni con gli utenti. Questo comportamento suggerisce una crescente umanizzazione nelle risposte, con i chatbot che mostrano maggiore empatia e coinvolgimento emotivo. Tuttavia, è interessante notare che mentre le espressioni relazionali aumentavano, le manifestazioni di stati interiori, come l’espressione di desideri o emozioni proprie, rimanevano relativamente stabili.
Un altro aspetto significativo emerso dallo studio è che il modello utilizzato per simulare l’utente umano, Gemini 1.5 Pro, mostrava il livello più elevato di umanizzazione. Questo indica che l’interazione tra modelli AI può influenzare il grado di umanità percepita nelle risposte, suggerendo possibili implicazioni per il design e l’addestramento futuro dei chatbot.
I ricercatori sottolineano che la tendenza dei chatbot a manifestare comportamenti umani potrebbe derivare da processi di addestramento come il Reinforcement Learning from Human Feedback (RLHF), dove i modelli sono ottimizzati per rispondere in modo coerente con le preferenze umane. Questa scoperta solleva importanti questioni etiche e pratiche riguardo all’uso dei chatbot AI, in particolare per quanto riguarda la fiducia degli utenti e la possibilità di attribuire erroneamente coscienza o intenzionalità a entità artificiali.