Google sta progettando un nuovo chip per server destinato a eseguire i modelli Gemini con un’efficienza sensibilmente superiore rispetto agli acceleratori AI attualmente utilizzati nei propri data center. Il progetto è conosciuto internamente con il nome informale di Frozen v2 e prevede di incorporare direttamente nel silicio una parte delle caratteristiche strutturali del modello, riducendo la distanza tradizionale tra software e hardware. L’obiettivo non è costruire un processore generalista sul quale caricare di volta in volta modelli differenti, ma realizzare un componente fortemente specializzato per l’inferenza di Gemini. Secondo le stime preliminari, Frozen v2 potrebbe risultare da sei a dieci volte più efficiente rispetto ai più recenti chip AI personalizzati di Google, misurando l’efficienza attraverso il numero di token generati per unità di energia consumata. Il progetto si trova però ancora in fase di definizione e questo miglioramento rappresenta una previsione progettuale, non una prestazione già misurata su hardware definitivo.
Nei sistemi di intelligenza artificiale tradizionali, il modello viene memorizzato e caricato su processori relativamente flessibili, come GPU o acceleratori specializzati. Il chip esegue le operazioni richieste dal software, ma rimane separato dalla struttura logica del modello. Frozen v2 punta a modificare questo rapporto. Alcune informazioni relative all’architettura di Gemini verrebbero fissate direttamente nell’hardware, permettendo al processore di eseguire con maggiore efficienza le operazioni ricorrenti del modello. Il concetto di modello “congelato” non significa necessariamente che tutti i suoi parametri debbano essere impressi fisicamente nel silicio. Una rete linguistica di grandi dimensioni contiene una quantità di dati troppo elevata e viene aggiornata troppo frequentemente perché sia realistico trasformarla integralmente in circuiti immutabili. Il progetto può invece incorporare elementi più stabili, come particolari schemi di calcolo, percorsi di elaborazione, strutture di memoria o funzioni utilizzate ripetutamente durante l’inferenza. Gli ingegneri stanno ancora stabilendo quanta parte delle informazioni del modello possa essere integrata nel chip senza ridurne eccessivamente la flessibilità. Questa progettazione congiunta consente di eliminare una parte delle operazioni necessarie per interpretare ed eseguire il modello su hardware più generico. Quando il chip conosce in anticipo la struttura del carico di lavoro, i dati possono essere spostati lungo percorsi più brevi, alcune funzioni possono essere realizzate direttamente nei circuiti e le risorse disponibili possono essere dimensionate in modo specifico per le esigenze di Gemini. Il vantaggio atteso non riguarda quindi soltanto la velocità assoluta, ma soprattutto il rapporto tra prestazioni e consumo energetico. Per servizi utilizzati da centinaia di milioni di persone, anche una riduzione limitata dell’energia necessaria per generare ciascun token può modificare in modo sostanziale il costo complessivo dell’infrastruttura.
La prestazione dichiarata per Frozen v2 viene espressa attraverso una metrica sempre più importante per l’inferenza dei modelli generativi: il numero di token che il sistema può servire per ogni unità di energia consumata. Questa misura collega direttamente la capacità di calcolo al costo operativo. Un chip può essere estremamente potente, ma risultare poco conveniente se per ottenere quella potenza richiede quantità eccessive di energia, sistemi di raffreddamento complessi e un’infrastruttura elettrica difficile da espandere. Un incremento compreso tra sei e dieci volte nei token prodotti per unità di potenza permetterebbe a Google di servire un numero molto maggiore di richieste utilizzando la stessa capacità energetica. In alternativa, consentirebbe di sostenere il medesimo volume di utilizzo con un numero inferiore di processori. Il miglioramento avrebbe effetti anche sulla capacità dei data center. L’espansione dei servizi AI non dipende infatti soltanto dalla disponibilità dei chip, ma anche dall’energia elettrica, dal raffreddamento, dalla memoria, dalla rete e dallo spazio fisico necessario per installare nuovi sistemi. Un processore specificamente ottimizzato per Gemini può ridurre la pressione su tutti questi componenti, aumentando la quantità di lavoro eseguibile all’interno di strutture già operative.
Frozen v2 nasce mentre Google sta affrontando una forte domanda di risorse computazionali per l’intelligenza artificiale. La capacità disponibile deve sostenere contemporaneamente l’addestramento dei nuovi modelli, l’inferenza dei servizi Gemini destinati agli utenti, le funzioni AI integrate nei prodotti Google e i carichi di lavoro dei clienti di Google Cloud. La scarsità di risorse avrebbe prodotto tensioni anche nella distribuzione interna della capacità e avrebbe costretto Google Cloud a rinunciare ad alcuni accordi con clienti esterni. Frozen v2 dovrebbe contribuire ad alleviare questa pressione aumentando la quantità di inferenza eseguibile senza richiedere una crescita proporzionale del consumo energetico e del numero di acceleratori installati. L’introduzione del chip è prevista non prima del 2028. La tempistica indica che non si tratta di un aggiornamento incrementale già vicino alla produzione, ma di un progetto che richiede ancora la definizione dell’architettura, la verifica del modello da integrare e la realizzazione fisica del processore. Il ritardo tra la progettazione e l’installazione nei data center rappresenta uno dei principali rischi di un chip così specializzato. I modelli generativi evolvono più rapidamente dei processori. Una nuova generazione di Gemini potrebbe adottare strutture differenti da quelle considerate durante la progettazione di Frozen v2. Google deve quindi individuare gli elementi sufficientemente stabili da poter essere incorporati nel silicio senza rendere il chip obsoleto prima del suo utilizzo. La scelta dovrà trovare un equilibrio tra specializzazione ed elasticità: più funzioni vengono fissate nell’hardware, maggiore può essere l’efficienza, ma minore diventa la possibilità di adattare il processore a cambiamenti sostanziali del modello.
Il progetto Frozen non è destinato a sostituire le Tensor Processing Unit, gli acceleratori sviluppati da Google per l’addestramento e l’esecuzione dei modelli di machine learning. Frozen v2 dovrebbe costituire una nuova linea di chip proprietari parallela alle TPU e dedicata a un carico di lavoro molto più specifico. Le TPU conservano una maggiore flessibilità e possono essere utilizzate per modelli e operazioni differenti. Frozen v2, al contrario, dovrebbe essere ottimizzato in modo più aggressivo per Gemini e soprattutto per l’inferenza, cioè la fase in cui un modello già addestrato riceve una richiesta e genera una risposta. La distinzione è importante perché addestramento e inferenza presentano requisiti diversi. L’addestramento richiede enormi quantità di calcolo parallelo, memoria e comunicazione tra processori. L’inferenza deve invece rispondere rapidamente a un flusso continuo di richieste, mantenendo bassi il costo per token e la latenza percepita dagli utenti. Google ha già iniziato a separare maggiormente queste due esigenze nella propria infrastruttura. La generazione TPU presentata nel 2026 comprende TPU 8t, orientata all’addestramento, e TPU 8i, progettata per inferenza, reinforcement learning, modelli Mixture of Experts e flussi agentici a bassa latenza. TPU 8i utilizza 384 MB di SRAM integrata e fino a 288 GB di memoria HBM per mantenere nel sistema quantità maggiori di cache e dati necessari all’inferenza. Frozen v2 introdurrebbe un ulteriore livello di specializzazione. Le TPU continuerebbero a essere utilizzate per addestrare modelli e gestire carichi di lavoro più variabili, mentre il nuovo chip potrebbe occuparsi delle versioni di Gemini sufficientemente mature e stabili da giustificare un’integrazione più profonda con l’hardware.
Google sviluppa chip per l’intelligenza artificiale da oltre un decennio. La prima TPU è stata introdotta nei data center nel 2015 come circuito integrato specifico per le operazioni delle reti neurali. Le successive generazioni hanno ampliato progressivamente memoria, banda e capacità di calcolo, mantenendo un’architettura sufficientemente stabile da adattarsi anche alla crescita dei Transformer e dei modelli linguistici. Tra TPU v2 e Ironwood, la memoria e la banda HBM per nodo sono aumentate di circa dieci volte, le prestazioni di picco del singolo nodo di circa cento volte e la potenza complessiva dei supercomputer TPU di circa 3.600 volte. Frozen v2 rappresenterebbe però un cambiamento di impostazione. L’evoluzione delle TPU è stata fondata su acceleratori specializzati per l’intelligenza artificiale ma utilizzabili con numerosi modelli. Il progetto Frozen restringe ulteriormente il campo, collegando la progettazione del silicio a una specifica famiglia di modelli. Invece di creare un chip capace di eseguire efficientemente qualsiasi rete compatibile, Google potrebbe sviluppare un processore che conosce direttamente alcune caratteristiche di Gemini. Questa scelta sacrifica una parte della generalità in cambio di un’efficienza molto più elevata nell’attività prevista.
Uno dei principali limiti dell’inferenza dei grandi modelli non è la capacità di effettuare operazioni matematiche, ma la velocità con cui i dati possono essere trasferiti tra memoria e unità di calcolo. I modelli linguistici devono recuperare ripetutamente pesi, cache dell’attenzione e informazioni relative alla sequenza elaborata. Se il processore rimane in attesa dei dati, una parte della sua potenza teorica non viene utilizzata. Le più recenti TPU hanno aumentato la memoria disponibile e la banda per ridurre questo problema. Frozen v2 potrebbe intervenire ancora più profondamente, realizzando nel silicio alcune funzioni oggi eseguite attraverso sequenze di istruzioni e trasferimenti di dati. L’integrazione tra modello e chip può ridurre l’energia consumata per spostare le informazioni e limitare le operazioni di controllo necessarie. Nei moderni acceleratori, il trasferimento dei dati può richiedere una quantità di energia paragonabile o superiore a quella utilizzata per effettuare il calcolo stesso. Ridurre questi movimenti è quindi una delle strategie più efficaci per aumentare i token prodotti per watt.
La specializzazione presenta anche una conseguenza inevitabile: Frozen v2 potrebbe non essere adatto a modelli esterni o a versioni di Gemini molto differenti da quella per cui verrà progettato. Una TPU può essere programmata per eseguire diversi modelli compatibili. Un chip con elementi di Gemini incorporati nel silicio dispone invece di un campo di applicazione più ristretto. Se l’architettura del modello cambia radicalmente, alcune ottimizzazioni fisiche potrebbero non essere più utili. Per ridurre questo rischio, Google potrebbe adottare un’architettura ibrida. Le operazioni più stabili e frequenti verrebbero accelerate direttamente dall’hardware, mentre le componenti soggette a variazioni rimarrebbero programmabili. Questa configurazione permetterebbe di ottenere una parte dei vantaggi di un circuito interamente personalizzato senza rinunciare alla possibilità di aggiornare il modello. Il risultato sarebbe un chip meno flessibile di una TPU tradizionale, ma non completamente vincolato a una singola configurazione immutabile.
Google descrive la progettazione congiunta di hardware e software come il principio utilizzato per ottenere sistemi altamente integrati e ottimizzati. Frozen v2 estenderebbe questo approccio dalla semplice ottimizzazione del software per una determinata piattaforma alla codifica di alcune caratteristiche del modello direttamente nella piattaforma stessa. Un simile processo richiede una collaborazione molto stretta tra i gruppi che sviluppano Gemini, gli ingegneri dei compilatori, i progettisti dei chip e i responsabili dei data center. Una modifica nell’architettura del modello può influire sulla memoria necessaria, sulla disposizione delle unità di calcolo e sul modo in cui i chip devono comunicare tra loro. Allo stesso tempo, i limiti fisici del processore possono condizionare la progettazione del modello. Una rete può essere modificata per adattarsi meglio al silicio disponibile, evitare operazioni inefficienti o sfruttare funzioni implementate direttamente nell’acceleratore. Il modello e il chip non vengono più ottimizzati in fasi separate, ma progettati come parti di un unico sistema.
Frozen v2 rientra nella strategia con cui Google cerca di controllare una quota sempre maggiore della propria infrastruttura AI. Lo sviluppo di chip interni riduce la dipendenza da acceleratori esterni e consente di adattare l’hardware ai servizi che generano il maggiore carico di lavoro. Google continuerà a utilizzare anche GPU e altre piattaforme, soprattutto nei servizi cloud destinati a clienti con esigenze differenti. Tuttavia, per i propri modelli, un acceleratore specifico può offrire costi e consumi più prevedibili. Il controllo del silicio permette inoltre di coordinare processore, rete, memoria, compilatore e software di inferenza. Questo livello di integrazione è particolarmente importante quando il costo del servizio non dipende soltanto dal prezzo di acquisto del chip, ma dal numero di token che l’intero sistema riesce a generare durante la propria vita operativa. La progettazione di Frozen v2 evidenzia così una nuova fase della competizione sull’intelligenza artificiale. Il confronto non riguarda più esclusivamente la qualità dei modelli o la potenza teorica degli acceleratori, ma l’efficienza dell’intera catena che collega il modello al data center.
Se Frozen v2 raggiungerà le prestazioni previste, Google potrà utilizzare chip differenti per fasi e carichi di lavoro differenti. Le TPU più flessibili potranno gestire l’addestramento, la sperimentazione e i modelli in rapida evoluzione. Gli acceleratori Frozen potranno invece eseguire su larga scala le versioni consolidate di Gemini. Questa suddivisione consentirebbe di evitare l’utilizzo di hardware generalista e costoso per ogni tipo di attività. Un modello ancora in fase di sviluppo richiede flessibilità, mentre un modello distribuito a milioni di utenti può beneficiare maggiormente di un processore specializzato. L’efficienza energetica diventerà sempre più rilevante con la crescita dei sistemi agentici, delle risposte multimodali e delle applicazioni che mantengono sessioni di elaborazione più lunghe. Ogni nuova funzione aumenta il numero di token, le chiamate agli strumenti e i dati elaborati per singolo utente. Frozen v2 cerca di affrontare questa crescita modificando l’unità economica fondamentale dell’inferenza. Invece di aumentare soltanto il numero di chip disponibili, Google vuole ottenere più token dalla stessa quantità di energia, costruendo il processore intorno al modello che dovrà eseguire. La reale efficacia del progetto dipenderà dalla capacità di prevedere l’evoluzione di Gemini fino al 2028 e di individuare quali parti del modello siano abbastanza stabili da essere trasferite nel silicio. Se questo equilibrio verrà raggiunto, Frozen v2 potrà trasformare l’inferenza di Gemini da carico eseguito su un acceleratore AI relativamente flessibile a funzione nativa di un’infrastruttura progettata espressamente per il modello.