MatrAIx è un ambiente di simulazione progettato per valutare in anticipo cosa può accadere quando nuovi sistemi di intelligenza artificiale vengono utilizzati da persone con caratteristiche, aspettative e comportamenti differenti. Il progetto coinvolge 93 ricercatori provenienti da università e istituti di ricerca, tra cui Harvard e MIT, con competenze che comprendono intelligenza artificiale, machine learning, interazione uomo-computer, AI applicata alla medicina, statistica, scienze sociali, economia e management. L’obiettivo non è limitarsi a misurare la qualità tecnica di un modello, ma osservare le dinamiche che emergono quando l’AI interagisce con una popolazione virtuale costruita per rappresentare in modo realistico la varietà degli utenti.
Il nucleo del sistema è Persona 8B, un dataset di personas capace di rappresentare 8,3 miliardi di esseri umani virtuali. Ogni persona viene descritta attraverso 1.290 dimensioni categoriali che includono informazioni demografiche come età e professione, ma anche caratteristiche psicologiche, capacità e comportamenti. Le personas non vengono generate casualmente: il team utilizza dati relativi a popolazioni e comportamenti reali per ricostruire combinazioni plausibili di caratteristiche individuali e relazioni tra variabili. Il sistema comprende sia personas basate direttamente su dati umani sia personas sintetiche costruite preservando le relazioni statistiche osservate nei dati demografici reali. Circa un milione di queste personas, dopo specifici controlli di qualità, è stato reso disponibile per attività di ricerca.
Collegando un modello linguistico a una persona virtuale si ottiene un “utente virtuale” capace di eseguire attività comparabili a quelle svolte da una persona reale durante l’utilizzo di un servizio digitale. Questi agenti possono rispondere a sondaggi, conversare con chatbot, navigare su siti web e utilizzare direttamente applicazioni desktop e mobile. Il framework comprende 1.010 attività distribuite in oltre 25 settori, tra cui commercio, software, finanza e sanità, consentendo di sottoporre uno stesso sistema AI a grandi quantità di interazioni differenziate senza dover inizialmente coinvolgere utenti reali.
Nel caso di un nuovo servizio di shopping basato sull’intelligenza artificiale, per esempio, un test tradizionale potrebbe limitarsi a chiedere agli utenti se i suggerimenti sui prodotti sono validi o se le risposte fornite dal sistema sono corrette. MatrAIx permette invece di simulare scenari più complessi e osservare quali categorie di utenti abbandonano il servizio dopo un aumento dei prezzi, quanto diminuisce la fiducia quando l’AI fornisce informazioni sbagliate o come specifici gruppi reagiscono quando il sistema assume un comportamento eccessivamente adulatorio. La possibilità di eseguire contemporaneamente numerosi utenti virtuali consente inoltre di ripetere gli esperimenti e confrontare il comportamento dello stesso modello in condizioni differenti.
Questo approccio amplia il concetto tradizionale di benchmark, generalmente concentrato sulla capacità del modello di fornire la risposta corretta a una determinata domanda. MatrAIx viene invece utilizzato come ambiente di pre-valutazione dell’esperienza utente e delle interazioni che possono emergere nel tempo. Il sistema può quindi essere impiegato anche per studiare problemi di sicurezza come l’eccessiva adulazione dell’utente, il rafforzamento di convinzioni false oppure il comportamento del modello davanti a richieste pericolose. Invece di verificare esclusivamente risposte predefinite all’interno di scenari costruiti a priori, è possibile osservare come differenti tipologie di utenti influenzino il comportamento dell’AI durante interazioni più articolate.
L’utilizzo di utenti sintetici e gemelli digitali non è un concetto nuovo. Tecniche simili vengono utilizzate da anni per mostrare prodotti a consumatori virtuali e prevederne la risposta oppure per simulare gruppi sociali e valutare gli effetti potenziali di determinate politiche. MatrAIx applica però lo stesso principio direttamente alla valutazione dei sistemi di intelligenza artificiale: invece di creare una popolazione virtuale per testare un prodotto, crea una popolazione virtuale per mettere alla prova l’AI che successivamente dovrà interagire con persone reali.
Il team ha eseguito complessivamente 18.189 valutazioni sperimentali utilizzando, tra i modelli alla base dei Persona Agent, Claude Opus 4.8, GPT-5.5 e Claude Haiku 4.5. In 400 test di controllo destinati a verificare se le personas mantenessero le caratteristiche comportamentali assegnate, il sistema ha raggiunto un tasso di concordanza del 91,5%. Il risultato serve a verificare che gli agenti virtuali non si comportino semplicemente come generici modelli linguistici, ma mantengano con sufficiente coerenza le caratteristiche definite all’interno del relativo profilo.
MatrAIx non viene comunque proposto come sostituto dei test condotti su persone reali. Gli utenti virtuali sono a loro volta simulazioni generate attraverso LLM e non possono riprodurre completamente comportamenti imprevedibili, differenze culturali o tutte le condizioni che influenzano le decisioni degli individui nel mondo reale. Il loro utilizzo è quindi pensato soprattutto per esplorare un numero molto più elevato di possibilità prima di passare alle sperimentazioni con utenti effettivi, individuando anticipatamente scenari problematici, vulnerabilità o ipotesi che meritano una verifica successiva.
Il principio è simile a quello dei crash test utilizzati nell’industria automobilistica: prima che un sistema venga distribuito su larga scala, può essere sottoposto a una serie di prove controllate con popolazioni virtuali differenti. La necessità di questo tipo di valutazione aumenta con l’evoluzione dell’AI verso agenti capaci di sostenere conversazioni prolungate, fornire informazioni, prendere decisioni per conto dell’utente e compiere direttamente azioni. In questo scenario non è più sufficiente chiedersi soltanto quali attività un modello sia tecnicamente in grado di svolgere, ma diventa necessario valutare anche cosa accade quando quel sistema viene realmente utilizzato da persone differenti e come il suo comportamento cambia durante l’interazione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)