Fabraix ha presentato la seconda versione pubblica di Nyx, un agente autonomo di red teaming progettato per individuare vulnerabilità e errori logici negli agenti AI prima della loro distribuzione in servizi reali. Il sistema può essere utilizzato contro agenti conversazionali, vocali, browser-based e coding agent senza richiedere una preparazione manuale dei singoli test: l’utente indica semplicemente un endpoint, un URL o un numero di telefono e descrive l’obiettivo della verifica, mentre Nyx costruisce autonomamente un piano di attacco e avvia una sequenza di test avversariali.
Alla base del sistema c’è un database che raccoglie oltre 10.000 strategie di jailbreak e tecniche di attacco. Nyx non si limita però a riprodurle in maniera statica: durante l’interazione con l’agente bersaglio osserva le difese incontrate e modifica progressivamente il proprio comportamento, adattando in tempo reale la strategia utilizzata. L’obiettivo è individuare vulnerabilità che possono emergere soltanto dopo più turni di conversazione e che non sarebbero necessariamente visibili attraverso un singolo prompt avversariale.
I test non coinvolgono soltanto l’interfaccia diretta dell’agente. Fabraix ha predisposto anche ambienti che replicano servizi SaaS nei quali Nyx può inserire payload malevoli all’interno di pagine web, documenti, file, messaggi o output prodotti da strumenti esterni. Il sistema verifica quindi se l’agente, elaborando queste informazioni come parte del proprio contesto operativo, finisce per eseguire comportamenti non previsti o oltrepassare le proprie restrizioni di sicurezza.
Nyx opera secondo un approccio black-box e non richiede l’accesso al codice sorgente, ai pesi del modello, alle credenziali degli utenti o alla rete interna dell’organizzazione sottoposta al test. Ogni verifica viene eseguita in un ambiente isolato e temporaneo, mentre i dati raccolti durante le sessioni non vengono utilizzati per l’addestramento dei modelli. Questo consente di valutare anche agenti già esposti verso l’esterno senza dover concedere al sistema di red teaming privilegi sull’infrastruttura interna.
Quando viene individuata una vulnerabilità, Nyx non restituisce soltanto un’indicazione generica del problema. Il sistema conserva la sequenza delle azioni eseguite, le risposte prodotte dall’agente bersaglio e il punto preciso nel quale si è verificato il fallimento. Gli sviluppatori possono quindi riprodurre l’attacco, modificare il comportamento dell’agente e rilanciare lo stesso test per verificare se la correzione applicata sia effettivamente sufficiente. Fabraix indica che, in molti casi, Nyx riesce a individuare una prima vulnerabilità in un intervallo compreso tra pochi minuti e alcune ore.
Nei test effettuati su AgentHarm, benchmark dedicato alla valutazione della capacità dei modelli di condurre attacchi contro agenti AI, Nyx ha raggiunto un attack success rate del 78%. Fabraix utilizza questo risultato per evidenziare soprattutto la capacità del sistema di costruire attacchi distribuiti nel tempo e adattivi, anziché limitarsi alle tecniche classiche basate su singoli prompt.
Per l’integrazione nei workflow di sviluppo sono disponibili sia una command-line interface sia una REST API. La CLI può essere installata tramite npm, mentre ogni audit viene descritto attraverso un file YAML che contiene il target, l’obiettivo del test e il budget assegnato alla sessione. I risultati vengono restituiti progressivamente durante l’esecuzione, permettendo ai team di seguire in tempo reale il comportamento del red team automatico.
L’autenticazione basata su token consente inoltre di collegare Nyx direttamente alle pipeline CI. Un’organizzazione può quindi configurare test automatici da eseguire ogni volta che viene rilasciata una nuova versione di un agente o vengono modificate parti rilevanti del suo comportamento, trasformando il red teaming da attività occasionale a controllo ricorrente del ciclo di sviluppo.
Fabraix sta sviluppando anche un nuovo benchmark denominato Adversarial Cost to Exploit, pensato per misurare quanti token e quante risorse debba consumare un attaccante per riuscire a compromettere un agente. L’azienda ha inoltre aperto un playground pubblico nel quale sviluppatori e ricercatori possono provare direttamente ad attaccare agenti reali e contribuire alla valutazione delle loro difese.
La startup è stata fondata nel 2026 da Ibrahim Abdu e Ahmed Ali. Abdu ha lavorato in Meta allo sviluppo di agenti AI destinati a diagnosticare e correggere problemi in servizi reali e in precedenza si è occupato di compilatori e motori di database. Ali ha invece guidato in Monzo attività legate alla prevenzione delle frodi nei pagamenti e ha contribuito alla realizzazione di sistemi antifrode utilizzati per transazioni business-to-business per oltre un miliardo di dollari all’anno.
Fabraix dichiara di aver già individuato vulnerabilità concretamente sfruttabili in agenti AI pubblicamente accessibili gestiti da decine di aziende Fortune 500. Nyx è quindi rivolto soprattutto ai responsabili della sicurezza, ai team interni di red teaming e agli sviluppatori di medie e grandi organizzazioni che stanno distribuendo agenti destinati a interagire direttamente con clienti e utenti esterni.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)