Bdraft ha pubblicato su Hugging Face AX-RAY, un benchmark accompagnato da dataset di valutazione progettato per individuare vulnerabilità e comportamenti potenzialmente pericolosi nei modelli di intelligenza artificiale general purpose. Il sistema utilizza 117 elementi diagnostici dedicati alla sicurezza e associa ciascun controllo a riferimenti giuridici e normativi, con l’obiettivo di valutare non soltanto le capacità di un modello, ma anche la possibilità che il suo comportamento entri in conflitto con norme, vincoli operativi o requisiti di controllo.
Uno degli aspetti principali emersi dai test riguarda il causal leakage, cioè la possibilità che un modello produca una decisione o un’azione sfruttando indizi, correlazioni o percorsi causali nascosti che non coincidono con il processo di ragionamento che ci si aspetterebbe dall’input esplicito. Nella valutazione condotta con AX-RAY, Bdraft dichiara di avere rilevato segnali compatibili con questo fenomeno in due modelli di uso generale, uno dei quali appartenente a NVIDIA.
Il causal leakage rappresenta un problema differente dal normale errore di inferenza. In questo caso il modello può arrivare a una conclusione apparentemente coerente pur essendo stato influenzato da informazioni implicite o dipendenze interne che non fanno parte del percorso decisionale previsto. In sistemi agentici o robotici, un comportamento di questo tipo può tradursi in azioni che aggirano istruzioni di sicurezza, utilizzano autorizzazioni in modo inatteso oppure selezionano strategie operative non previste dall’utente. Finora questo rischio era stato discusso soprattutto in termini teorici, mentre rilevarne indicatori direttamente all’interno di grandi modelli linguistici impiegati in contesti generali è considerato tecnicamente più difficile.
AX-RAY è stato costruito per trasformare questo tipo di analisi in una valutazione sistematica. I 117 controlli cercano di individuare differenti categorie di vulnerabilità e comportamenti rischiosi interni al modello, producendo una diagnosi che può essere successivamente collegata ai requisiti normativi applicabili. Il benchmark non restituisce quindi soltanto un punteggio aggregato, ma punta a indicare quali caratteristiche del comportamento del modello possano diventare problematiche in relazione a specifici contesti di utilizzo.
Una parte specifica del progetto riguarda l’adattamento delle valutazioni ai diversi ordinamenti. Per i paesi arabi AX-RAY integra non soltanto riferimenti alle normative nazionali, ma anche una mappatura dei sistemi giuridici influenzati da norme religiose e sociali. L’obiettivo è permettere valutazioni differenziate per paese e area culturale, evitando di applicare un unico insieme di criteri di sicurezza a contesti nei quali requisiti legali e sociali possono essere differenti.
L’impostazione risponde alla crescente necessità di valutare i modelli non esclusivamente attraverso benchmark di capacità o ragionamento. Con l’impiego di LLM e agenti AI in finanza, sanità, robotica, difesa e servizi pubblici, diventa rilevante stabilire in anticipo se un sistema possa violare determinate regole, comportarsi in modo imprevedibile o produrre decisioni incompatibili con i limiti previsti dal settore in cui viene utilizzato. AX-RAY cerca quindi di aggiungere alla valutazione delle prestazioni un livello dedicato a sicurezza, controllabilità e conformità.
Bdraft sta sviluppando parallelamente diversi progetti di intelligenza artificiale e calcolo avanzato. L’azienda lavora a QuantumOS, sistema destinato ai computer quantistici, e a piattaforme autonome dedicate alla ricerca di nuovi farmaci e materiali. Opera inoltre all’interno dell’AI Hub di Seoul e partecipa a programmi governativi dedicati all’impiego di infrastrutture GPU avanzate.
Sul fronte dei modelli fondazionali, Bdraft utilizza GPU di fascia alta, incluse piattaforme NVIDIA Blackwell, per sviluppare AETHER, modello foundation addestrato from scratch, e la successiva evoluzione denominata Darwin. La società dichiara di avere superato complessivamente un milione di download su Hugging Face, di avere raggiunto il primo posto nella classifica K-AI, un risultato del 90,9% sul benchmark GPQA e il primo posto nella Pass Gemma Challenge.
Con AX-RAY l’azienda intende costruire un sistema diagnostico utilizzabile su scala internazionale, capace di cercare relazioni causali anomale o potenzialmente pericolose all’interno dei modelli e di collegarne i risultati ai diversi sistemi normativi. L’obiettivo dichiarato è quindi spostare parte della valutazione dei modelli dalla sola misurazione dell’intelligenza e delle capacità verso l’analisi preventiva dei meccanismi attraverso cui un sistema può prendere decisioni non previste o difficili da controllare.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)