Cohere ha annunciato la disponibilità in beta pubblica di Confidential Computing all’interno di Model Vault, la propria piattaforma gestita per l’esecuzione di modelli di intelligenza artificiale in ambienti dedicati alle organizzazioni. La nuova configurazione utilizza infrastrutture Microsoft Azure e acceleratori NVIDIA H100 per proteggere le informazioni sensibili non soltanto durante l’archiviazione e la trasmissione, ma anche nella fase di elaborazione dei dati da parte dei modelli. L’architettura è destinata alle aziende che devono utilizzare sistemi generativi per analizzare documentazione riservata, informazioni finanziarie, cartelle cliniche, proprietà intellettuale, codice sorgente proprietario e altri contenuti che non possono essere esposti agli amministratori dell’infrastruttura sottostante. Le applicazioni previste comprendono l’individuazione di frodi nei servizi finanziari, la ricerca in documenti soggetti a privilegio legale, le attività di due diligence, l’analisi di informazioni governative sensibili, la consultazione di brevetti e materiali di ricerca e l’elaborazione di documentazione tecnica riservata.
La protezione si fonda sull’esecuzione dello stack di inferenza all’interno di una macchina virtuale confidenziale, nella quale sistema operativo, driver e server di esecuzione dei modelli sono isolati dall’ambiente host attraverso meccanismi di sicurezza implementati nell’hardware. La memoria utilizzata durante l’elaborazione non può essere letta direttamente dal sistema operativo ospitante, dall’hypervisor o dagli amministratori dell’infrastruttura. La configurazione applica inoltre criteri di esecuzione che limitano i componenti software ammessi e impediscono agli operatori l’accesso interattivo ai processi protetti. NVIDIA Confidential Computing estende questo perimetro alle GPU H100, proteggendo la memoria degli acceleratori e cifrando le comunicazioni fra CPU e GPU. In questo modo la protezione non termina quando le informazioni vengono trasferite al dispositivo incaricato dei calcoli tensoriali, ma comprende anche la fase effettiva di inferenza accelerata.
Il percorso delle richieste utilizza Oblivious HTTP, o OHTTP, per cifrare il contenuto sensibile dei messaggi prima che raggiungano l’infrastruttura di servizio. Il client cifra il payload utilizzando una chiave pubblica associata all’ambiente confidenziale verificato, mentre la corrispondente chiave privata rimane disponibile esclusivamente all’interno del gateway OHTTP protetto. I sistemi intermedi possono quindi instradare le richieste senza accedere ai prompt, ai documenti o alle informazioni contenute nei messaggi. Il medesimo principio viene applicato alle risposte generate dai modelli. L’implementazione mantiene le API e i formati di richiesta già utilizzati da Model Vault, collocando i meccanismi aggiuntivi di protezione nei livelli client e infrastrutturali, senza richiedere la riprogettazione dei payload applicativi. Microsoft Azure fornisce l’infrastruttura di confidential computing, NVIDIA estende l’isolamento all’elaborazione GPU e Cohere gestisce il servizio di inferenza, il canale crittografato e i componenti di verifica.
Un elemento centrale è rappresentato dalla remote attestation, il procedimento crittografico con il quale il client verifica l’identità e lo stato dell’ambiente di esecuzione prima di trasmettere informazioni riservate. L’infrastruttura produce evidenze firmate digitalmente che descrivono proprietà di sicurezza e misurazioni relative a hardware, firmware, sistema operativo e componenti applicativi. Il software del cliente confronta queste informazioni con una policy approvata e autorizza la trasmissione soltanto quando tutti i requisiti risultano soddisfatti. Una modifica inattesa del software, una misurazione non riconosciuta oppure una GPU non configurata nella modalità confidenziale prevista comportano il rifiuto della richiesta, che rimane nell’ambiente del cliente. Le attestazioni vengono aggiornate frequentemente e rivalutate durante l’utilizzo del servizio, trasformando la verifica da semplice documentazione per audit in un controllo operativo che determina se i dati possano essere effettivamente rilasciati all’infrastruttura remota.
Il modello di sicurezza delimita esplicitamente le garanzie offerte. La protezione riguarda i contenuti delle richieste, le risposte e la memoria utilizzata durante l’esecuzione, ma continua a richiedere fiducia nell’hardware, nel firmware, nel software misurato e nell’infrastruttura di attestazione. Non elimina gli attacchi fisici o side-channel, non impedisce a un operatore di interrompere la disponibilità del servizio e non risolve vulnerabilità applicative come prompt injection, autorizzazioni errate o utilizzo insicuro degli strumenti collegati ai modelli. Rimangono inoltre osservabili metadati quali dimensioni dei messaggi, tempi delle richieste, volumi di traffico e informazioni di instradamento; nell’architettura attuale anche le credenziali API e gli identificativi dei modelli si trovano all’esterno del payload protetto da OHTTP. Confidential Computing non sostituisce pertanto i controlli normativi, contrattuali o applicativi e non costituisce un meccanismo di data residency o di cifratura omomorfica, poiché i modelli elaborano comunque i dati in chiaro all’interno dell’ambiente isolato.
L’implementazione utilizza tecnologie derivate dai progetti open source Kata Containers e Confidential Containers. Cohere prevede di pubblicare come software aperto lo stack di inferenza confidenziale, consentendo ai clienti e ai ricercatori di sicurezza di esaminare il codice, verificare le policy applicate e riprodurre indipendentemente le misurazioni crittografiche. La beta è attualmente disponibile sulle GPU NVIDIA H100 ospitate in Microsoft Azure, mentre è in sviluppo il supporto all’architettura NVIDIA Blackwell, comprese le GPU B200, in preparazione della disponibilità generale. La gestione degli ambienti protetti avviene attraverso Model Vault, mantenendo gli strumenti e le API già previsti dalla piattaforma.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)