Oggi AI21 Labs, un concorrente di OpenAI, ha pubblicato i risultati di un esperimento sociale chiamato “Human or Not”. Si tratta di un gioco online che ha rivelato che un enorme 32% delle persone non è in grado di distinguere tra un essere umano e un robot AI.
Il gioco è stato descritto come il più grande test di Turing finora, ed è stato progettato per accoppiare i giocatori in conversazioni di due minuti utilizzando robot AI basati su potenti modelli di linguaggio come GPT-4 di OpenAI e Jurassic-2 di AI21 Labs. Alla fine, sono state analizzate più di un milione di conversazioni e ipotesi.
I risultati sono stati interessanti: inizialmente, il test ha rivelato che le persone trovavano più facile identificare un compagno umano, indovinando l’identità umana il 73% delle volte. Tuttavia, quando parlavano con i bot, i partecipanti indovinavano solo il 60% delle volte.
Oltre ai numeri, i ricercatori hanno notato che i partecipanti hanno utilizzato diverse strategie per determinare se stavano interagendo con un essere umano o un robot. Ad esempio, molti pensavano che i robot non commettessero errori di battitura, grammaticali o usassero gergo, anche se molti dei modelli nel gioco erano stati addestrati a fare proprio questi errori e a utilizzare parole gergali.
I partecipanti hanno anche posto domande personali comuni, come “Da dove vieni?”, “Cosa stai facendo?” o “Come ti chiami?”, presumendo che i robot non avessero una storia o un background personale e che le loro risposte sarebbero state limitate a determinati argomenti o suggerimenti. Tuttavia, i robot sono stati in grado di rispondere a gran parte di queste domande, poiché erano stati addestrati con molte storie personali.
Dopo le conversazioni di due minuti, agli utenti è stato chiesto di indovinare se avevano parlato con un essere umano o un robot. Dopo oltre un mese di gioco e milioni di conversazioni, i risultati hanno mostrato che il 32% delle persone non riesce a distinguere tra un essere umano e l’intelligenza artificiale.
In una curiosa svolta filosofica, alcuni partecipanti hanno addirittura suggerito che, se il loro interlocutore era troppo educato, probabilmente fosse un bot.
Ma “Human or Not” ha un obiettivo che va oltre il semplice gioco, come afferma Amos Meron, creatore di giochi e responsabile del prodotto creativo presso AI21 Labs con sede a Tel Aviv. “L’idea è di offrire un’esperienza significativa su più livelli: educare e consentire alle persone di sperimentare l’intelligenza artificiale in questo contesto conversazionale, specialmente se l’hanno utilizzata solo come strumento di produttività”, ha spiegato. “Il nostro mondo online sarà sempre più popolato da robot di intelligenza artificiale, e vogliamo lavorare per far sì che vengano utilizzati in modo responsabile. Pertanto, vogliamo far sapere alle persone di cosa è capace questa tecnologia. Penso che abbiamo previsto che alcune persone non sarebbero state in grado di distinguere la differenza”, ha aggiunto. Tuttavia, ciò che ha sorpreso Meron è ciò che l’esperimento ha rivelato sulle persone stesse. “Il risultato è che le persone ora presumono che la maggior parte delle cose che gli umani fanno online possano essere maleducate, il che penso sia divertente”, ha affermato. Ha sottolineato, tuttavia, che le persone hanno sperimentato i robot in un contesto molto specifico, simile a un servizio.