Cohere ha introdotto il supporto al confidential computing in Model Vault, la propria piattaforma di inferenza single-tenant destinata ai clienti enterprise. La nuova modalità, denominata Encrypted tier, estende la protezione dei dati anche alla fase nella quale il modello elabora effettivamente i prompt, superando il modello tradizionale nel quale i dati risultano cifrati a riposo e durante il trasferimento ma devono essere decifrati in memoria durante l’esecuzione. Secondo Cohere, il nuovo sistema impedisce l’accesso ai dati non soltanto da parte di soggetti esterni, ma anche dello stesso provider cloud, degli amministratori dell’infrastruttura e di Cohere. Il supporto al confidential computing è disponibile senza costi aggiuntivi rispetto al normale Model Vault.
Model Vault utilizza già un’architettura single-tenant, nella quale ogni cliente dispone di un deployment dedicato dei modelli Cohere anziché condividere una API multi-tenant. Con l’introduzione del confidential computing, questo ambiente viene eseguito all’interno di hardware capace di cifrare e isolare la memoria utilizzata dal workload mentre l’inferenza è in corso. Sul lato CPU, l’Encrypted tier utilizza confidential virtual machine basate su Intel TDX oppure AMD SEV-SNP, mentre sul lato accelerazione vengono impiegate GPU NVIDIA configurate in confidential computing mode. La protezione viene quindi estesa sia alla CPU sia alla GPU, includendo anche i passaggi di dati tra i due componenti.
Il percorso dei dati parte dalle chiavi controllate direttamente dal cliente. Le informazioni rimangono cifrate durante il trasferimento verso la Confidential VM e, una volta entrate nell’ambiente protetto, continuano a essere isolate lungo il percorso hardware, compresa la memoria e le interconnessioni tra CPU e GPU. I dati vengono decifrati soltanto nel punto nel quale devono essere effettivamente elaborati all’interno dell’ambiente di esecuzione protetto. Cohere indica inoltre che anche lo stato del processore e i registri rientrano nel perimetro del confidential computing. All’esterno della CVM i dati restano cifrati e non risultano accessibili né a Cohere né al cloud provider o agli amministratori del cluster; anche la risposta viene restituita in forma cifrata e può essere decifrata soltanto dal cliente attraverso le proprie chiavi.
La differenza rispetto alla cifratura convenzionale riguarda quindi principalmente la fase di elaborazione. Nei sistemi tradizionali un database può essere cifrato sul disco e una richiesta può essere protetta tramite TLS durante il transito sulla rete, ma il contenuto deve normalmente comparire in chiaro nella memoria della macchina durante l’esecuzione del modello. In quella fase i dati possono teoricamente essere visibili al sistema operativo host, all’hypervisor o a soggetti con privilegi amministrativi sull’infrastruttura. Con il confidential computing l’obiettivo è invece creare un ambiente hardware isolato nel quale il contenuto rimane inaccessibile all’esterno anche mentre viene elaborato.
Cohere accompagna questa protezione con un meccanismo di attestazione hardware. Secondo l’azienda, ogni inferenza produce un attestation report che consente al cliente di verificare l’hardware, il software e le policy di sicurezza applicate al workload. I cosiddetti golden values relativi alla configurazione hardware e software vengono registrati presso Intel Trust Authority; al momento dell’avvio di una confidential VM, Intel può quindi verificare che l’ambiente corrisponda alla configurazione approvata da Cohere, Intel e NVIDIA e che non sia stato modificato. I clienti possono inoltre utilizzare strumenti open source per verificare autonomamente le policy e controllare che il workload di inferenza venga effettivamente eseguito all’interno dell’ambiente attestato.
Rimane tuttavia un aspetto tecnico non completamente chiarito nella documentazione disponibile: non è specificato in modo definitivo se la verifica completa dell’ambiente venga effettuata esclusivamente al boot della confidential VM oppure se l’attestation sia legata direttamente a ogni singola richiesta di inferenza. La differenza è rilevante perché un’attestazione collegata al request path consentirebbe di associare ciascuna richiesta a parametri come versione del modello, policy della GPU, digest del codice e regole di retention utilizzate durante quella specifica esecuzione.
Cohere prevede inoltre di rendere open source l’intero serving stack utilizzato da Model Vault. L’obiettivo è consentire a revisori e auditor indipendenti di verificare direttamente che il software non registri, esporti o trasferisca dati al di fuori dell’ambiente protetto. In questo modo la verifica non dovrebbe dipendere esclusivamente dalle dichiarazioni del fornitore, ma potrebbe combinare l’analisi del codice con gli attestation report prodotti dall’hardware e con i controlli effettuati tramite Intel Trust Authority.
Il confidential inference è già utilizzato anche da altre piattaforme che adottano trusted execution environment e GPU compatibili con confidential computing. Tinfoil, ad esempio, utilizza modelli open-weight come Mistral e DeepSeek all’interno di ambienti attestati, mentre Edgeless Systems propone Privatemode per amministrazioni pubbliche e settori regolamentati europei. Phala offre capacità GPU attestata con un catalogo di modelli aperti, Maple AI combina cifratura lato client e backend confidential computing, mentre Confer, sviluppato dal fondatore di Signal Moxie Marlinspike, utilizza chiavi controllate dal client e codice server open source sottoposto ad attestazione.
La differenza nel caso di Cohere riguarda soprattutto l’integrazione del confidential computing con modelli proprietari già forniti come servizio enterprise. Encrypted Model Vault applica infatti l’isolamento hardware direttamente ai modelli Cohere all’interno della stessa piattaforma single-tenant che l’azienda commercializza insieme a North, invece di utilizzare modelli open-weight di terze parti. Il servizio è quindi rivolto in particolare a organizzazioni come banche, strutture sanitarie e amministrazioni pubbliche che devono elaborare informazioni riservate all’interno di infrastrutture gestite esternamente ma vogliono poter dimostrare, attraverso un’attestazione firmata, quali componenti hardware e software abbiano effettivamente protetto i dati durante l’inferenza.
L’introduzione del confidential computing in Model Vault coincide con l’accordo definitivo di fusione tra Cohere e la tedesca Aleph Alpha, un’operazione indicata intorno ai 20 miliardi di dollari che porterà la nuova organizzazione ad avere sedi principali a Toronto e Berlino. I due annunci non sono tecnicamente collegati, ma rientrano entrambi nell’impostazione adottata da Cohere sul mercato enterprise, orientata alla possibilità di mantenere maggiore controllo sui dati, sull’infrastruttura e sui meccanismi di governance dei sistemi AI.
Il confidential computing non elimina comunque tutti gli aspetti legati alla sicurezza e alla governance dei dati, ma modifica il tipo di garanzia che un’organizzazione può richiedere al proprio fornitore di inferenza. Invece di basarsi soltanto su policy contrattuali o dichiarazioni sul trattamento dei dati, il cliente può verificare direttamente attraverso attestazioni firmate quale ambiente hardware e software abbia eseguito il workload e quali componenti rientrino effettivamente nel perimetro protetto. Nel caso di Model Vault, Cohere punta quindi a combinare deployment single-tenant, cifratura end-to-end, confidential CPU e GPU, chiavi controllate dal cliente e attestazione verificabile dell’ambiente di inferenza.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)