ByteDance, la società madre di TikTok, ha recentemente annunciato una svolta significativa nel campo dell’intelligenza artificiale. L’azienda ha sviluppato una tecnologia che aumenta l’efficienza dei modelli di “Mixture of Experts” (MoE) del 70%, una conquista che potrebbe ridurre la necessità di unità di elaborazione grafica (GPU) durante l’addestramento di modelli linguistici di grandi dimensioni (LLM).
I modelli MoE sono architetture di rete neurale che selezionano dinamicamente sottoinsiemi di esperti per elaborare specifici input, migliorando così l’efficienza computazionale. Tuttavia, la complessità di questi modelli richiede un uso intensivo di risorse hardware, in particolare delle costose e potenti GPU. La tecnologia di ByteDance promette di mitigare questo problema, rendendo l’addestramento dei LLM più accessibile e meno dispendioso in termini di risorse.
La riduzione dell’uso delle GPU non solo abbassa i costi operativi, ma potrebbe anche democratizzare l’accesso allo sviluppo di modelli di intelligenza artificiale avanzati, permettendo a più organizzazioni di partecipare all’innovazione in questo settore.