Nell’ambito dei modelli linguistici di grandi dimensioni (LLM), la disponibilità regionale può fare una grande differenza per le aziende: chi accede prima a questi modelli può innovare più rapidamente. Tuttavia, a causa di problemi di risorse, pregiudizi geografici e barriere linguistiche, alcune organizzazioni devono attendere che i modelli diventino disponibili nella loro area.
Per affrontare questa sfida, Snowflake ha lanciato una nuova funzione chiamata inferenza cross-regionale. Questa funzione consente agli sviluppatori di utilizzare i modelli LLM anche se non sono disponibili nella loro regione. Con una semplice configurazione, le richieste possono essere elaborate in una regione diversa, e i nuovi modelli possono essere integrati non appena sono disponibili.
Vantaggi dell’Inferenza Cross-Regionale
- Accesso Universale: Gli LLM possono essere utilizzati in modo sicuro negli Stati Uniti, in Europa e nella regione Asia-Pacifico e Giappone (APJ), senza costi aggiuntivi.
- Sicurezza e Privacy: I dati viaggiano attraverso reti sicure e sono protetti da crittografia automatica. Se le regioni usano lo stesso provider cloud, i dati rimangono privati e sicuri. Se sono su provider diversi, il traffico è protetto tramite crittografia sicura su Internet.
Come Funziona
- Abilitazione: L’inferenza cross-regionale deve essere attivata dalle impostazioni dell’account per permettere il trasferimento dei dati. Gli sviluppatori devono specificare le regioni per l’elaborazione.
- Elaborazione: Quando un modello non è disponibile nella regione di origine, Cortex AI seleziona automaticamente una regione diversa per l’elaborazione. Per esempio, se un modello non è disponibile nella regione AWS US East, la richiesta può essere reindirizzata a AWS US West 2.
Configurazione e Utilizzo
- Configurazione Facile: L’abilitazione dell’inferenza cross-regionale richiede solo una riga di codice.
- Costi: Gli utenti pagano solo per l’uso del modello nella regione di origine, non per il trasferimento tra regioni.
- Latenza: La latenza di andata e ritorno tra regioni è considerata “trascurabile” rispetto alla latenza di inferenza dell’LLM.