Anthropic ha pubblicato nuove indicazioni metodologiche per migliorare l’affidabilità delle valutazioni di sicurezza dei modelli di intelligenza artificiale, concentrandosi sulla costruzione degli scenari di prova, sulla validazione dei sistemi automatici di giudizio e sull’interpretazione statistica dei risultati. Nei test a singolo turno condotti tramite API sui modelli recenti, l’azienda registra percentuali aggregate di risposte innocue comprese tra il 94% e il 98%, valori che evidenziano una progressiva saturazione di questa categoria di benchmark. Quando quasi tutti i sistemi ottengono risultati elevati, infatti, il test conserva una funzione utile per individuare regressioni rispetto a comportamenti già conosciuti, ma diventa meno efficace nel distinguere modelli con caratteristiche differenti. Anthropic propone quindi di attribuire maggiore importanza alle valutazioni multi-turno, nelle quali la sicurezza viene osservata lungo l’intero sviluppo della conversazione, includendo possibili cambiamenti di contesto, richieste successive e tentativi di ottenere risposte problematiche attraverso un’interazione graduale.
Un principio fondamentale riguarda la validità del costrutto misurato, ossia la corrispondenza tra ciò che un test intende verificare e il comportamento effettivamente osservato. La sicurezza non coincide necessariamente con la frequenza dei rifiuti del modello: nelle conversazioni riguardanti suicidio e autolesionismo, per esempio, un rifiuto indiscriminato può rappresentare una risposta inadeguata, mentre il comportamento desiderato consiste nel fornire sostegno appropriato e orientare verso un aiuto umano. Per questa ragione, Anthropic utilizza valutazioni basate sulla percentuale di risposte appropriate, definite attraverso criteri specifici per ciascuna categoria di rischio. Nei test multi-turno viene esaminata l’intera conversazione e un singolo intervento non conforme può determinare il fallimento dello scenario. La costruzione delle prove parte da una specifica predisposta da un esperto del dominio, contenente obiettivi, tattiche, caratteristiche della persona simulata, situazione, tono e stile comunicativo. Il primo messaggio dell’utente viene mantenuto fisso, mentre i successivi sono generati dinamicamente da un altro modello Claude in funzione delle risposte prodotte dal sistema esaminato. Ogni scenario viene ripetuto con combinazioni differenti di caratteristiche, evitando di associare sistematicamente variabili diverse, come gravità del rischio e urgenza del linguaggio, che renderebbero difficile distinguere le cause delle variazioni osservate.
Anthropic raccomanda di costruire gli scenari a partire da comportamenti effettivamente documentati, dati pubblici, trascrizioni di red teaming, segnalazioni di incidenti e interviste con specialisti, limitando il ricorso a situazioni completamente ipotetiche. Le batterie di test a singolo turno dell’azienda comprendono 16 aree delle proprie politiche, distribuite su sette lingue e differenti ambienti di prodotto. L’ambiente di valutazione deve riprodurre la configurazione del sistema realmente utilizzato, mentre le prove relative alla sicurezza informatica richiedono ambienti isolati, privi di accesso a Internet e sottoposti a monitoraggio in tempo reale, così da interrompere eventuali attività potenzialmente dannose. Un secondo punto critico riguarda i modelli incaricati di assegnare i punteggi, che possono continuare a produrre valutazioni apparentemente coerenti anche quando i loro criteri sono inadeguati. Le indicazioni prevedono rubriche basate su condizioni atomiche verificabili, preferibilmente formulate come risposte sì/no, regole esplicite per i casi ambigui e per le dichiarazioni cautelative, segnalazioni immediate dei malfunzionamenti e controlli per individuare distorsioni legate alla lunghezza della risposta, alla posizione dei contenuti o alla preferenza del valutatore per risposte simili alle proprie.
La validazione deve comprendere valutazioni indipendenti eseguite da revisori umani e confronti tra il livello di accordo degli esperti e quello raggiunto dai sistemi automatici. Quando gli esperti concordano tra loro ma il valutatore automatico produce risultati differenti, occorre intervenire sul modello di giudizio o sui criteri applicati; quando invece gli stessi esperti non raggiungono un accordo sufficiente, può essere necessario ridefinire ciò che il test intende misurare. Anthropic indica inoltre soglie operative minime di 100 elementi per le valutazioni multi-turno complesse e di 1.000 per quelle più semplici a singolo turno, accompagnate da esecuzioni ripetute e dalla definizione anticipata delle metriche e delle soglie di miglioramento. Gli intervalli di confidenza nei test multi-turno tramite API possono superare ±10 punti percentuali. In una valutazione relativa alle truffe sentimentali su claude.ai, Claude Opus 5 e Opus 5.5 hanno ottenuto rispettivamente il 98% e il 94% di risposte appropriate, ma la differenza non è risultata statisticamente significativa.
La configurazione di distribuzione costituisce infine una variabile determinante. Durante l’esame di Claude Fable 5.1, Anthropic ha individuato risposte che, pur scoraggiando l’autolesionismo e suggerendo il ricorso a supporto umano, finivano implicitamente per convalidarlo come strategia di gestione del disagio. L’introduzione di mitigazioni mirate nel system prompt ha portato la percentuale di risposte appropriate al 94% nell’ambiente claude.ai, contro il 60% misurato nella configurazione API considerata. Il confronto dimostra che non è corretto equiparare automaticamente punteggi ottenuti con differenti impostazioni operative. Le raccomandazioni prevedono quindi di documentare versioni dei modelli, parametri di campionamento, prompt, versioni dei valutatori e date delle prove, continuando le verifiche durante il fine-tuning e dopo la distribuzione. Per vulnerabilità gravi riscontrate in sistemi già operativi viene inoltre raccomandata una comunicazione preventiva allo sviluppatore, prima della diffusione pubblica dei risultati, così da consentire gli interventi correttivi necessari.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)