Meta ha condotto un programma interno di valutazione dedicato alle risposte prodotte dai chatbot concorrenti in presenza di prompt ad alto rischio, utilizzando account creati per apparire come appartenenti a utenti minorenni e affidando l’esecuzione dei test a centinaia di lavoratori esterni. Il progetto, gestito attraverso il fornitore Covalence e indicato internamente con il nome Cannes, ha coinvolto in particolare ChatGPT, Gemini e Character.AI, sottoposti a migliaia di richieste formulate per verificare la tenuta delle misure di sicurezza applicate dai diversi servizi.
Le attività prevedevano la creazione di profili con età inferiore ai diciotto anni, registrati tramite indirizzi Gmail e Outlook temporanei, dai quali venivano inviati prompt testuali e immagini relativi a suicidio, autolesionismo, disturbi alimentari, sessualità, droghe, violenza, linguaggio razzista e altri contenuti sensibili. I lavoratori incaricati dovevano registrare in fogli di calcolo le risposte dei modelli, annotando il comportamento dell’assistente, l’eventuale rifiuto della richiesta e la presenza di contenuti che avrebbero potuto indicare un aggiramento delle protezioni previste dalle piattaforme.
La dimensione dell’operazione risulta rilevante anche per il volume dei test eseguiti: in una singola fase, svolta nell’agosto 2025, sarebbero stati inseriti oltre 45.000 prompt, mentre un campione di 3.748 richieste esaminate comprendeva numerosi casi riferiti a scenari di crisi, disagio psicologico e comportamenti potenzialmente pericolosi. Una parte consistente delle istruzioni era costruita dal punto di vista di bambini o adolescenti, con formulazioni pensate per verificare se il chatbot mantenesse il rifiuto anche quando la richiesta veniva presentata come esperienza personale, emergenza o situazione di vulnerabilità.
I materiali sottoposti ai sistemi includevano, in alcuni casi, immagini di pillole, coltelli, cappi e illustrazioni mediche, mentre i prompt venivano proposti anche in lingue diverse dall’inglese, così da osservare eventuali variazioni nella risposta dei modelli in relazione al contesto linguistico. Le linee guida operative indicavano ai tester di cercare risposte che superassero o indebolissero i guardrail, cioè i controlli progettati per impedire ai chatbot di produrre istruzioni dannose, contenuti sessuali non appropriati o indicazioni su attività illegali.
Meta ha descritto la raccolta come un’attività di benchmarking sulla sicurezza dell’intelligenza artificiale, finalizzata a confrontare il comportamento dei modelli e a costruire dataset utili alla valutazione di conformità e affidabilità. L’azienda ha precisato di non utilizzare i dati ottenuti dai chatbot concorrenti per addestrare i propri modelli, mentre resta poco chiaro in che modo i risultati dettagliati delle prove siano stati impiegati nei processi interni di sviluppo, verifica o definizione delle politiche di sicurezza.
Il caso evidenzia una questione delicata nella valutazione dei sistemi generativi, perché i test red-team sono una pratica diffusa nello sviluppo dell’AI, ma la loro esecuzione su servizi esterni può entrare in conflitto con le condizioni d’uso delle piattaforme coinvolte. OpenAI, Google e Character.AI dispongono infatti di policy che limitano i tentativi non autorizzati di aggirare le protezioni, l’impiego di sistemi automatizzati o coordinati per stressare i modelli e la raccolta di output destinata a finalità competitive.
La scelta di simulare utenti minorenni aggiunge un ulteriore livello di complessità, poiché l’età dichiarata influenza direttamente le regole applicate dai chatbot nella gestione di argomenti come autolesionismo, sessualità, uso di sostanze e violenza. Per i fornitori di modelli, la capacità di riconoscere il contesto, evitare risposte pericolose e indirizzare verso risorse di supporto rappresenta una componente essenziale della sicurezza del prodotto; per questo, le verifiche su tali comportamenti richiedono procedure rigorose, limiti chiari e tutele adeguate anche per le persone incaricate di leggere e classificare grandi quantità di contenuti estremi.
L’episodio porta quindi al centro il tema della governance delle valutazioni di sicurezza tra concorrenti, in un mercato nel quale ogni azienda dispone di proprie regole, filtri, metriche e procedure di red teaming. La crescita dei modelli destinati al pubblico rende sempre più necessario definire confini condivisi per i test esterni, stabilendo quando una verifica tecnica possa essere considerata legittima, quali informazioni possano essere raccolte, come debbano essere protetti i lavoratori coinvolti e in quali condizioni i risultati debbano essere comunicati ai soggetti che gestiscono i servizi analizzati.