La dipendenza dai chip NVIDIA per l’addestramento e l’inferenza dei modelli di intelligenza artificiale (IA) è stata predominante. Tuttavia, una recente iniziativa cinese mira a diversificare questo scenario. Un team associato all’Università Tsinghua ha sviluppato Chitu, un framework open source progettato per funzionare efficacemente su hardware non NVIDIA, inclusi chip prodotti in Cina.
Chitu è stato creato da Qingcheng.AI, una startup fondata nel 2023 da Zhai Jidong, professore di informatica presso l’Università Tsinghua, insieme ai suoi studenti. Supportato da un fondo municipale di Pechino per l’industria dell’IA, il progetto si propone di ridurre la dipendenza dai chip NVIDIA, offrendo un’alternativa efficiente per l’esecuzione di modelli di linguaggio di grandi dimensioni (LLM) su hardware diversificato.
Chitu è un framework di inferenza ad alte prestazioni per LLM, focalizzato su efficienza, flessibilità e disponibilità. Supporta vari modelli di IA mainstream, tra cui DeepSeek, la serie LLaMA e Mixtral. Una delle sue caratteristiche distintive è la capacità di operare su diversi ambienti hardware, compresi GPU legacy, GPU non NVIDIA e CPU. Secondo i test effettuati con DeepSeek-R1 utilizzando GPU NVIDIA A800, Chitu ha ottenuto un incremento del 315% nella velocità di inferenza del modello, riducendo al contempo l’utilizzo della GPU del 50% rispetto ad altri framework open source stranieri.
L’introduzione di Chitu rappresenta un passo significativo verso la diversificazione delle soluzioni hardware nell’IA. Consentendo l’esecuzione efficiente di modelli avanzati su chip prodotti in Cina, il framework potrebbe ridurre la dipendenza da fornitori specifici come NVIDIA. Questo sviluppo potrebbe stimolare l’adozione più ampia dell’IA in vari settori, offrendo alternative più economiche e flessibili per l’implementazione di modelli di intelligenza artificiale.