Microsoft open source Counterfit, uno strumento di valutazione del rischio per la sicurezza dell’IA
Microsoft offre oggi Counterfit open source , uno strumento progettato per aiutare gli sviluppatori a testare la sicurezza dei sistemi di intelligenza artificiale e machine learning. L’azienda afferma che Counterfit può consentire alle organizzazioni di condurre valutazioni per garantire che gli algoritmi utilizzati nelle loro attività siano solidi, affidabili e affidabili.
L’intelligenza artificiale viene sempre più utilizzata in settori regolamentati come l’assistenza sanitaria, la finanza e la difesa. Ma le organizzazioni sono in ritardo nell’adozione di strategie di mitigazione del rischio. Un sondaggio Microsoft ha rilevato che 25 aziende su 28 hanno indicato di non disporre delle risorse giuste per proteggere i propri sistemi di intelligenza artificiale e che i professionisti della sicurezza sono alla ricerca di indicazioni specifiche in questo ambito.
Microsoft afferma che Counterfit è nato dalla necessità dell’azienda di valutare i sistemi di intelligenza artificiale per le vulnerabilità con l’obiettivo di proteggere in modo proattivo i servizi di intelligenza artificiale. Lo strumento è iniziato come un corpus di script di attacco scritti specificamente per prendere di mira i modelli di intelligenza artificiale e poi si è trasformato in un prodotto di automazione per confrontare più sistemi su larga scala.
Sotto il cofano, Counterfit è un’utilità della riga di comando che fornisce un livello per framework antagonisti, precaricati con algoritmi che possono essere utilizzati per eludere e rubare modelli. Counterfit cerca di rendere gli attacchi pubblicati accessibili alla comunità della sicurezza offrendo un’interfaccia da cui creare, gestire e lanciare tali attacchi sui modelli.
Quando si eseguono test di penetrazione su un sistema AI con Counterfit, i team di sicurezza possono optare per le impostazioni predefinite, impostare parametri casuali o personalizzarli per un’ampia copertura delle vulnerabilità. Le organizzazioni con più modelli possono utilizzare l’automazione integrata di Counterfit per eseguire la scansione, facoltativamente più volte per creare linee di base operative.
Counterfit fornisce anche la registrazione per registrare gli attacchi contro un modello di destinazione. Come nota Microsoft, la telemetria potrebbe spingere i team di ingegneri a migliorare la loro comprensione di una modalità di errore in un sistema.
Il valore aziendale dell’IA responsabile
Internamente, Microsoft afferma di utilizzare Counterfit come parte delle operazioni del suo team rosso di intelligenza artificiale e nella fase di sviluppo dell’IA per rilevare le vulnerabilità prima che entrino in produzione. E la società afferma di aver testato Counterfit con diversi clienti, tra cui il gigante aerospaziale Airbus, che sta sviluppando una piattaforma AI sui servizi Azure AI. “L’intelligenza artificiale è sempre più utilizzata nell’industria; è fondamentale guardare avanti per proteggere questa tecnologia, in particolare per capire dove possono essere realizzati gli attacchi spaziali caratteristici nello spazio problematico “, ha affermato in una nota Matilda Rhode, ricercatrice senior di sicurezza informatica presso Airbus.
Il valore di strumenti come Counterfit sta diventando rapidamente evidente. Uno studio di Capgemini ha scoperto che clienti e dipendenti premieranno le organizzazioni che praticano l’IA etica con maggiore lealtà, più affari e persino la volontà di difenderle e, a loro volta, puniranno quelle che non lo fanno. Lo studio suggerisce che esiste sia un rischio reputazionale che un impatto diretto sui profitti per le aziende che non affrontano il problema in modo ponderato.
Fondamentalmente, i consumatori vogliono avere la certezza che l’IA sia al sicuro dalla manipolazione. Una delle raccomandazioni del framework Top 5 Priorities for Managing AI Risk di Gartner , pubblicato a gennaio, è che le organizzazioni “[a] diano misure di sicurezza AI specifiche contro gli attacchi del contraddittorio per garantire resistenza e resilienza”. La società di ricerca stima che entro il 2024, le organizzazioni che implementano controlli dedicati alla gestione del rischio dell’IA eviteranno risultati negativi dell’IA due volte più spesso di quelli che non lo fanno “.
Secondo un rapporto di Gartner , fino al 2022, il 30% di tutti gli attacchi informatici di intelligenza artificiale sfrutterà l’avvelenamento dei dati di addestramento, il furto di modelli o campioni contraddittori per attaccare i sistemi basati sull’apprendimento automatico.
Counterfit fa parte della più ampia spinta di Microsoft verso sistemi di intelligenza artificiale spiegabili, sicuri e “equi”. I tentativi dell’azienda di trovare soluzioni a queste e ad altre sfide includono strumenti di rilevamento dei pregiudizi dell’IA , un framework di IA antagonista aperto , sforzi interni per ridurre gli errori pregiudizievoli , liste di controllo etiche dell’IA e un comitato ( Aether ) che fornisce consulenza sulle attività dell’IA. Di recente, Microsoft ha presentato WhiteNoise , un toolkit per la privacy differenziale, nonché Fairlearn , che mira a valutare l’equità dei sistemi di intelligenza artificiale e mitigare eventuali problemi di iniquità osservati con gli algoritmi.
