Moonshot AI avrebbe utilizzato un cluster di calcolo fornito da Alibaba e composto da circa 20.000 GPU Nvidia per sviluppare Kimi K3, il nuovo modello della società cinese. L’infrastruttura deriverebbe da un accordo per la fornitura di capacità computazionale e rappresenterebbe una parte consistente delle risorse complessivamente impiegate da Moonshot per l’addestramento della famiglia Kimi.
Alibaba è uno dei principali investitori di Moonshot AI e punta a far utilizzare alle società partecipate la propria infrastruttura cloud. Il rapporto tra le due aziende comprende però anche una componente competitiva, poiché Alibaba sviluppa la famiglia di modelli Qwen. Kimi K3 avrebbe ottenuto risultati superiori rispetto ai modelli rivali di Alibaba nonostante l’impiego di risorse di calcolo comparabili, suscitando insoddisfazione all’interno del gruppo.
La provenienza dell’hardware utilizzato per l’addestramento è diventata rilevante anche in relazione alle restrizioni statunitensi sulle esportazioni di semiconduttori avanzati verso la Cina. Michael Kratsios, direttore dell’Ufficio per la politica scientifica e tecnologica della Casa Bianca, aveva accusato Moonshot di aver aggirato i controlli statunitensi accedendo alle più recenti GPU Blackwell di Nvidia attraverso servizi di calcolo affittati da operatori terzi in Thailandia. Aveva inoltre ipotizzato che l’azienda avesse utilizzato tecniche di distillazione basate sugli output di Fable 5 di Anthropic, senza presentare prove pubbliche a sostegno di questa seconda accusa.
Una fonte a conoscenza della strategia di Moonshot ha confermato l’esistenza di un canale che permette alla società di accedere alle GPU Blackwell attraverso il Sud-est asiatico. Non è stato però chiarito se l’hardware sia stato acquistato direttamente oppure utilizzato tramite un regolare contratto di noleggio della capacità computazionale. Le norme statunitensi consentono generalmente alle aziende cinesi di utilizzare GPU Nvidia collocate all’estero attraverso servizi cloud, mentre impongono restrizioni più severe sulla vendita e sull’esportazione fisica dei chip verso la Cina.
Il cluster fornito da Alibaba non sarebbe comunque basato sulle GPU Blackwell, ma su acceleratori della precedente generazione Hopper. Alcune fonti hanno indicato l’impiego di GPU Nvidia H200, il modello più potente della famiglia Hopper. Alibaba ha negato esplicitamente di aver fornito H200 a Moonshot, ma non ha smentito la disponibilità del cluster da 20.000 GPU e non ha specificato quale modello di acceleratore sia effettivamente installato.
Gli Stati Uniti hanno recentemente modificato la propria politica per consentire in alcuni casi l’esportazione delle H200 verso la Cina, ma le quantità effettivamente introdotte nel Paese sarebbero ancora limitate. Pechino sta inoltre incoraggiando le aziende nazionali a utilizzare acceleratori prodotti in Cina, compresi quelli di Huawei, riducendo la domanda ufficiale di chip statunitensi.
I fornitori cloud cinesi hanno progressivamente attenuato gli effetti dei controlli sulle esportazioni installando GPU Nvidia nei propri data center esteri e rivendendone l’accesso sotto forma di servizio cloud. Questo sistema consente alle aziende di utilizzare gli acceleratori senza importarli fisicamente in Cina e permette a sviluppatori come Moonshot di continuare ad addestrare modelli di grandi dimensioni su hardware Nvidia.