Google DeepMind ha avviato una sperimentazione di valutazione in doppio cieco dei modelli di intelligenza artificiale, utilizzando tecnologie crittografiche per mantenere riservati sia i dati di test sia i pesi del modello durante il processo di verifica. L’obiettivo è affrontare il problema della cosiddetta contaminazione dei benchmark, che si verifica quando un modello viene addestrato, intenzionalmente o indirettamente, su dati che fanno parte degli stessi test utilizzati successivamente per misurarne le prestazioni. In questa situazione i risultati possono risultare artificialmente elevati, perché il sistema ha già avuto accesso a una parte delle domande o dei dati impiegati nella valutazione.
Il sistema sviluppato da Google DeepMind cerca di risolvere contemporaneamente due esigenze contrapposte. Da una parte, gli enti di valutazione devono poter mantenere segreti i benchmark per impedire che entrino nei dataset di addestramento; dall’altra, gli sviluppatori dei modelli non vogliono consegnare i pesi proprietari a soggetti esterni, perché rappresentano uno degli asset tecnologici più sensibili dell’azienda. La procedura utilizza quindi Confidential Space di Google Cloud e un ambiente GPU enclave protetto, nel quale modello e dati di valutazione possono essere utilizzati senza che una delle due parti abbia accesso alle informazioni riservate dell’altra.
All’interno di questa architettura, l’organizzazione che effettua il test non può visualizzare i pesi del modello, mentre il produttore del modello non può accedere preventivamente ai prompt e ai dati utilizzati nella valutazione. L’esecuzione avviene in un ambiente protetto e verificabile crittograficamente, progettato per garantire che entrambi gli elementi rimangano confidenziali durante il test. Il concetto di doppio cieco viene quindi applicato alla valutazione dei sistemi AI facendo in modo che né il valutatore conosca l’implementazione proprietaria del modello né lo sviluppatore conosca in anticipo il contenuto del benchmark.
La sperimentazione è stata condotta utilizzando Gemini 2.5 Flash Lite e ha coinvolto soggetti esterni tra cui il Singapore AI Safety Institute, OpenMined, AVERI e MLCommons. Per la verifica sono stati utilizzati anche benchmark privati, compreso AILuminate di MLCommons, eseguendo i test direttamente all’interno dell’ambiente protetto. In questo modo è stato possibile valutare le capacità del modello senza pubblicare preventivamente le domande del benchmark e senza richiedere allo sviluppatore di trasferire i propri pesi all’ente di valutazione.
Confidential Space non è una tecnologia sviluppata esclusivamente per questo progetto, ma un servizio già disponibile all’interno dell’infrastruttura Google Cloud. DeepMind lo ha utilizzato come base per costruire il processo di valutazione e propone un modello nel quale enti pubblici, istituti di ricerca e organizzazioni indipendenti possano applicare procedure analoghe quando devono verificare sistemi AI proprietari. La separazione tra dati di test e proprietà intellettuale del produttore può risultare particolarmente rilevante quando le informazioni coinvolte non possono essere condivise liberamente, come nei test di sicurezza, nei sistemi utilizzati da enti governativi o in altri ambienti con requisiti elevati di riservatezza.
Il progetto mira quindi a rendere più affidabile la misurazione delle prestazioni dei modelli senza obbligare una delle due parti a rinunciare al controllo sui propri dati. Google sostiene che questo approccio possa consentire agli organismi indipendenti di verificare capacità e sicurezza dei sistemi avanzati mantenendo la sovranità sui dati utilizzati per i test e proteggendo nello stesso tempo la proprietà intellettuale degli sviluppatori. La sperimentazione rappresenta un primo tentativo di utilizzare un ambiente di confidential computing come infrastruttura standardizzata per eseguire valutazioni AI su benchmark non pubblici e modelli proprietari.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)