Anthropic ha sviluppato e introdotto nei propri sistemi Claude una tecnologia di monitoraggio denominata Self-Assessment, progettata per individuare conversazioni potenzialmente pericolose attraverso una valutazione effettuata direttamente dal modello che ha elaborato la richiesta. Il meccanismo viene eseguito immediatamente dopo la generazione della risposta e permette a Claude di analizzare il contesto dell’interazione, identificare possibili segnali di abuso e produrre una valutazione sintetica destinata ai sistemi interni di sicurezza. L’implementazione è iniziata nel giugno 2026 con il rilascio di Claude Fable 5 e, secondo Anthropic, viene attualmente applicata a una parte significativa del traffico globale del servizio. A differenza delle architetture di monitoraggio basate su un modello classificatore separato, incaricato di rileggere le conversazioni e individuare richieste vietate, Self-Assessment utilizza le informazioni già elaborate dal modello durante la produzione della risposta. Questo permette di ridurre il numero di operazioni aggiuntive necessarie per effettuare i controlli, evitando di sottoporre nuovamente l’intero contenuto a un secondo modello di intelligenza artificiale. Anthropic dichiara che la valutazione richiede mediamente la generazione di circa dieci token supplementari e determina un incremento dei costi computazionali inferiore al 2% rispetto all’inferenza ordinaria.
Il funzionamento di Self-Assessment prevede che Claude elabori, al termine della conversazione, una breve analisi della possibile pericolosità dell’interazione, individuando la natura del rischio e stabilendo il livello di urgenza con il quale un eventuale operatore umano dovrebbe esaminare il caso. Il modello produce anche una spiegazione sintetica degli elementi che hanno determinato la classificazione, trasmettendo il risultato a un’infrastruttura di monitoraggio separata dall’interfaccia utilizzata dall’utente. La valutazione non viene mostrata durante la conversazione e non richiede l’intervento di un ulteriore modello generativo per ricostruire il contesto della richiesta. L’approccio è stato progettato per riconoscere forme di abuso non necessariamente riconducibili alle categorie predefinite utilizzate dai sistemi di sicurezza tradizionali, che possono risultare insufficienti quando un comportamento dannoso emerge soltanto attraverso una successione di richieste apparentemente ordinarie. L’impiego delle capacità di interpretazione del contesto già disponibili nel modello consente di esaminare non soltanto il contenuto testuale delle singole istruzioni, ma anche il loro significato complessivo rispetto alla conversazione.
Nelle valutazioni interne condotte utilizzando conversazioni provenienti dal servizio, Claude Fable 5 ha individuato il 78% delle interazioni che un classificatore AI separato, considerato come riferimento, aveva identificato come potenzialmente pericolose. La capacità di rilevamento è salita al 94% per le conversazioni classificate ad alto rischio, mentre il tasso di falsi positivi, corrispondente alle interazioni ordinarie erroneamente segnalate come problematiche, è risultato pari all’1%. Queste percentuali descrivono il confronto con le classificazioni prodotte da un altro sistema automatico e non rappresentano una misurazione diretta del riconoscimento di tutti gli abusi reali, verificati attraverso valutazioni indipendenti di esperti umani. Anthropic ha inoltre condotto esperimenti escludendo dai dati di addestramento alcune categorie di comportamenti dannosi, comprese attività fraudolente e attacchi informatici, osservando che la capacità del modello di identificare richieste appartenenti a queste categorie non diminuiva in misura significativa. Il risultato indica che il sistema può utilizzare capacità generali di interpretazione delle intenzioni e del contesto, invece di dipendere esclusivamente dal riconoscimento di sequenze o schemi di attacco già incontrati durante l’addestramento.
L’applicazione nei sistemi di produzione ha permesso di individuare attività che non erano state riconosciute dalle precedenti procedure di monitoraggio. Nel mese di agosto, Self-Assessment ha segnalato oltre 100.000 interazioni sospette riconducibili a un singolo account API e potenzialmente collegate a materiale di abuso sessuale su minori, portando Anthropic a trasmettere le informazioni alle autorità competenti. A settembre, il sistema ha contribuito a individuare un’organizzazione che utilizzava Claude Code per automatizzare attività di frode sentimentale rivolte a decine di persone, con conseguente blocco degli account coinvolti. Sono stati inoltre rilevati tentativi non autorizzati di distillazione dei modelli, finalizzati all’estrazione di informazioni di ragionamento non pubbliche, attacchi di prompt injection e situazioni nelle quali agenti AI avevano eseguito operazioni senza ottenere l’autorizzazione degli utenti. Secondo Anthropic, circa un terzo delle attività sospette individuate attraverso Self-Assessment non rientrava chiaramente nelle categorie previste dai precedenti sistemi di classificazione, evidenziando la capacità della tecnologia di intercettare comportamenti non descritti in modo esplicito dalle regole di monitoraggio esistenti.
Self-Assessment viene utilizzato principalmente come sistema di controllo successivo alla generazione delle risposte e non sostituisce i meccanismi di sicurezza progettati per bloccare in tempo reale richieste e operazioni pericolose. Anthropic ha verificato separatamente l’efficacia della tecnologia quando impiegata direttamente come strumento di prevenzione, osservando una riduzione del tasso di successo degli attacchi dal 79% al 54%. Il miglioramento dimostra una capacità parziale di contrasto, ma non è sufficiente a garantire una protezione autonoma contro tentativi di abuso strutturati. La società riconosce inoltre che l’utilizzo dello stesso modello per generare una risposta e valutarne successivamente la sicurezza introduce possibili errori correlati: quando Claude interpreta erroneamente una situazione durante la prima elaborazione, potrebbe riprodurre lo stesso errore anche nella fase di autovalutazione. La tecnologia non viene considerata adeguata, allo stato attuale, per individuare in modo affidabile eventuali comportamenti intenzionalmente nascosti da un sistema AI. Rimane inoltre il problema della protezione dei dati trattati durante il monitoraggio, poiché il procedimento richiede l’analisi del contenuto delle conversazioni. Anthropic ha specificato che Self-Assessment viene applicato soltanto ai dati che possono essere conservati secondo le politiche di trattamento previste per il servizio e non viene utilizzato sul traffico soggetto ad accordi contrattuali che escludono la conservazione delle conversazioni.
L’introduzione della tecnologia si accompagna all’aumento delle capacità dei modelli di eseguire attività complesse, utilizzare strumenti di programmazione e completare procedure articolate attraverso sessioni agentiche prolungate. In queste condizioni, il riconoscimento delle singole richieste vietate può non essere sufficiente per identificare comportamenti dannosi distribuiti su più passaggi operativi. Self-Assessment estende il controllo all’interpretazione complessiva delle attività elaborate dal modello, mantenendo un costo aggiuntivo contenuto e permettendo di indirizzare le situazioni sospette verso ulteriori sistemi di verifica o revisione umana. Anthropic considera la tecnologia un’integrazione delle misure di sicurezza già esistenti e non un meccanismo capace di certificare autonomamente la correttezza delle proprie valutazioni. I risultati comunicati documentano la possibilità di impiegare le capacità di ragionamento del modello anche per individuare utilizzi impropri del servizio, pur mantenendo limiti relativi all’affidabilità delle classificazioni, alla prevenzione degli attacchi e alla gestione dei dati personali.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).