Un professore di Harvard ei suoi studenti hanno raccolto 14 milioni di dollari per reprimere gli attacchi di intelligenza artificiale antagonistica
Robust Intelligence può rilevare controlli fraudolenti
Aggiungendo alcuni pixel (evidenziati in rosso) a un assegno legittimo, i truffatori possono indurre i modelli di intelligenza artificiale a confondere un assegno da $ 401 a $ 701. Inosservato, l’exploit potrebbe portare a frodi finanziarie su larga scala.
Yaron Singer è diventato professore ordinario ad Harvard in sette anni in sette anni, alimentato dal suo lavoro sull’apprendimento automatico antagonistico, un modo per ingannare i modelli di intelligenza artificiale utilizzando dati fuorvianti. Ora, la startup Robust Intelligence di Singer, che ha formato con un ex dottorato di ricerca. consigliere e due ex studenti, sta uscendo dalla furtività per portare le sue ricerche sul mercato.
Quest’anno, l’intelligenza artificiale rappresenterà 50 miliardi di dollari di spesa aziendale, sebbene le aziende stiano ancora cercando di capire come implementare la tecnologia nei loro processi aziendali. Le aziende stanno ancora cercando di capire come proteggere la propria intelligenza artificiale da una cattiva intelligenza artificiale, come un deepfake vocale generato da algoritmi che può falsificare i sistemi di autenticazione vocale.
“Agli albori di Internet, era progettato come se tutti fossero dei bravi attori. Poi, le persone hanno iniziato a creare firewall perché hanno scoperto che non tutti lo erano “, afferma Bill Coughran, ex vicepresidente senior dell’ingegneria di Google. “Stiamo vedendo segni della stessa cosa accadendo con questi sistemi di apprendimento automatico. Dove ci sono soldi, i cattivi attori tendono a entrare “.
Entra in Robust Intelligence, una nuova startup guidata dal CEO Singer con una piattaforma che secondo la società è addestrata a rilevare più di 100 tipi di attacchi avversari. Sebbene i suoi fondatori e la maggior parte del team abbiano il pedigree di Cambridge, la startup ha stabilito la sede a San Francisco e ha annunciato mercoledì di aver raccolto 14 milioni di dollari in un round di seed e Series A guidato da Sequoia. Coughran, ora partner della società di venture, è l’investitore principale della raccolta fondi, che arriva anche con la partecipazione di Engineering Capital e Harpoon Ventures.
CEO Yaron Singer
Il CEO di Robust Intelligence Yaron Singer si congederà da Harvard, dove è professore di informatica e matematica applicata. ROBUSTA INTELLIGENZA
Singer ha seguito il suo dottorato di ricerca. in informatica presso l’Università della California, Berkeley, entrando a far parte di Google come ricercatore post-dottorato nel 2011. Ha trascorso due anni a lavorare su algoritmi e modelli di apprendimento automatico per rendere più veloci i prodotti del gigante della tecnologia e ha visto con quanta facilità l’intelligenza artificiale potrebbe andare fuori dai binari con dati errati.
“Una volta che inizi a vedere queste vulnerabilità, diventa davvero, davvero spaventoso, soprattutto se pensiamo a quanto vogliamo usare l’intelligenza artificiale per automatizzare le nostre decisioni”, dice.
I truffatori e altri malintenzionati possono sfruttare la relativa rigidità dei modelli di intelligenza artificiale nell’elaborazione di dati non familiari. Ad esempio, afferma Singer, un assegno di $ 401 può essere manipolato aggiungendo alcuni pixel che sono impercettibili all’occhio umano ma fanno sì che il modello AI legga l’assegno erroneamente come $ 701. “Se i truffatori mettono le mani sui controlli, possono hackerare queste app e iniziare a farlo su larga scala”, afferma Singer. Modifiche simili agli input di dati possono portare a transazioni finanziarie fraudolente, nonché a falsi riconoscimento vocale o facciale.
Nel 2013, dopo aver assunto una posizione di assistente professore ad Harvard, Singer ha deciso di concentrare la sua ricerca sull’ideazione di meccanismi per proteggere i modelli di IA. Robust Intelligence proviene da quasi un decennio in laboratorio per Singer, durante il quale ha lavorato con tre alunni di Harvard che sarebbero diventati i suoi cofondatori: Eric Balkanski, Ph.D. studente consigliato da Singer, Alexander Rilee, uno studente laureato e lo studente universitario Kojin Oshiba, che è stato coautore di articoli accademici con il professore. In 25 articoli, il team di Singer ha iniziato a progettare algoritmi per rilevare dati fuorvianti o fraudolenti e ha contribuito a portare il problema all’attenzione del governo, ricevendo anche una sovvenzione DARPA anticipata per condurre la sua ricerca. Rilee e Oshiba rimangono coinvolti nelle attività quotidiane di Robust, il primo sul governo e il go-to-market e il secondo sulla sicurezza,
Robust Intelligence viene lanciato con due prodotti, un firewall AI e un’offerta “red team” in cui Robust funziona come un aggressore avversario. Il firewall funziona avvolgendo il modello AI esistente di un’organizzazione per eseguire la scansione di dati contaminati tramite gli algoritmi di Robust. L’altro prodotto, denominato RIME (o “Robust Intelligence Machine Engine”), esegue uno stress test sul modello di intelligenza artificiale di un cliente inserendo errori di base e lanciando deliberatamente attacchi avversari sul modello per vedere come regge.
La startup sta attualmente lavorando con una decina di clienti, afferma Singer, tra cui un importante istituto finanziario e uno dei principali processori di pagamento, anche se Robust non nominerà alcun nome per motivi di riservatezza. Lanciato di nascosto, Singer spera di ottenere più clienti e di raddoppiare le dimensioni del team, che attualmente conta 15 dipendenti. Singer, che è in congedo da Harvard, è imbarazzato per il suo futuro nel mondo accademico, ma dice di essere concentrato sul suo ruolo di CEO a San Francisco al momento.
“Per me, ho scalato la montagna del mandato ad Harvard, ma ora penso che abbiamo trovato una montagna ancora più alta, e quella montagna sta assicurando l’intelligenza artificiale”, dice.
