Google Cloud ha annunciato il 9 novembre 2026 la disponibilità generale di Cloud Pathways su Google Kubernetes Engine, introducendo un runtime progettato per coordinare grandi carichi di addestramento e inferenza AI distribuiti su migliaia di acceleratori TPU attraverso un unico controller. La tecnologia, denominata anche Pathways on Cloud, costituisce uno dei componenti dell’infrastruttura Google Cloud AI Hypercomputer e deriva dal sistema originariamente sviluppato da Google DeepMind per l’addestramento e l’esecuzione di modelli di frontiera, tra cui Gemini. Google dichiara che, nei 90 giorni precedenti l’annuncio, gli utenti hanno elaborato oltre 130 milioni di ore-chip TPU utilizzando Pathways su GKE. La distribuzione commerciale estende agli ambienti dei clienti una modalità di orchestrazione concepita per amministrare gruppi molto estesi ed eterogenei di acceleratori, riducendo la complessità associata all’esecuzione di applicazioni JAX su più segmenti di infrastruttura.
Il runtime interviene sulle limitazioni della configurazione JAX tradizionale basata su più controller, nella quale ciascun host TPU esegue un interprete Python indipendente che dispone di una visione locale dei dispositivi collegati. Gli host eseguono lo stesso programma attraverso il paradigma single-program, multiple-data, ma la gestione coordinata di più programmi e di differenti gruppi di TPU diventa progressivamente complessa all’aumentare della scala e dell’eterogeneità dell’infrastruttura. Cloud Pathways sostituisce questa organizzazione con un controller unificato basato sull’Interim Framework Runtime open source. Attraverso l’impostazione JAX_PLATFORMS=proxy e l’utilizzo di pathwaysutils, un singolo client JAX può visualizzare e gestire numerosi segmenti TPU come se i relativi dispositivi fossero collegati localmente. Il controller si occupa della valutazione dei grafi computazionali, della memorizzazione persistente delle compilazioni in cache su Cloud Storage e dell’invio asincrono dei carichi XLA ai diversi segmenti di acceleratori. Il sistema permette così di organizzare operazioni di addestramento e inferenza senza richiedere che ogni host gestisca autonomamente l’intera logica di coordinamento.
L’architettura comprende container Python ausiliari, denominati sidecar, collocati sugli host TPU e dotati di supporto alla memoria condivisa. Questi componenti eseguono localmente attività computazionalmente impegnative, tra cui il caricamento distribuito dei dati e la gestione dei checkpoint, evitando di concentrare sul controller operazioni che possono essere svolte direttamente accanto agli acceleratori. Pathways supporta inoltre l’addestramento elastico attraverso snapshot conservati nella memoria degli host. Quando un’interruzione hardware rende indisponibile una porzione dell’infrastruttura, il sistema può ridistribuire il lavoro sui segmenti rimasti, riducendone il numero senza interrompere necessariamente il processo client. Sono previste anche modalità interattive per notebook e terminali, mentre Shared Pathways Service permette a più utenti e processi di condividere un insieme persistente di segmenti TPU. Questa organizzazione consente di mantenere un pool di acceleratori disponibile per attività differenti e di riconfigurare i carichi in seguito a variazioni delle risorse.
Google Cloud segnala l’utilizzo in produzione presso una grande società tecnologica del settore consumer che esegue inferenza batch e operazioni di reinforcement learning su decine di migliaia di TPU v5p, Trillium v6e e Ironwood TPU7x. L’installazione supera 100 milioni di ore-chip per trimestre e il cliente ha collaborato allo sviluppo dei meccanismi di elasticità, mentre estende l’utilizzo della piattaforma alle attività di preaddestramento. Anche ZenteiQ impiega Cloud Pathways per lo sviluppo di foundation model scientifici, combinando GKE, Cluster Toolkit, sidecar e snapshot degli host per addestramenti elastici con MaxText e procedure di reinforcement learning basate su MaxText e Tunix su cluster Trillium articolati in più segmenti. Secondo il fondatore Sashikumaar Ganesan, il controller monitora la topologia TPU e riconfigura dinamicamente la distribuzione delle attività quando un chip o un segmento diventa indisponibile, limitando i tempi di inattività e mantenendo utilizzabile la capacità residua.
Cloud Pathways è generalmente disponibile su GKE in tutte le regioni Google Cloud che supportano TPU v5e, TPU v5p, Trillium TPU v6e e Ironwood TPU7x. L’azienda mette a disposizione immagini container versionate compatibili con JAX 0.10.1 e versioni successive. Separatamente è stata presentata un’integrazione con Cluster Director per cluster TPU gestiti attraverso Slurm, che consente l’esecuzione JAX unificata su più segmenti, l’addestramento elastico e l’utilizzo di notebook interattivi. Quest’ultima integrazione si trova ancora in fase Preview e non ha quindi lo stesso livello di disponibilità generale della versione destinata a GKE. La piattaforma concentra in un unico runtime la gestione della topologia degli acceleratori, la distribuzione asincrona del lavoro e le procedure di recupero dagli errori, mantenendo attivi i processi di addestramento quando una parte delle risorse hardware non è più disponibile.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)