Le GPU NVIDIA, leader nel mercato dei chip per intelligenza artificiale (AI), mostrano una debolezza significativa nella generazione di video. Sebbene NVIDIA domini il 95% del mercato, le sue GPU hanno difficoltà nell’elaborazione video a causa della loro limitata capacità di memoria e velocità di trasferimento dati.
La GPU di punta di NVIDIA, l’”H100″, è particolarmente limitata nell’elaborazione dei dati video necessari per addestrare modelli complessi. Amit Jain, cofondatore e CEO di Luma AI, sottolinea che i dati per i modelli di generazione video possono facilmente arrivare a petabyte (PB), mentre i modelli linguistici raggiungono solo terabyte (TB). Un petabyte equivale a 1.000 terabyte, ossia circa 500.000 ore di video.
Inoltre, la lentezza nella velocità di trasferimento dei dati tra le GPU crea un collo di bottiglia, rendendo l’elaborazione video particolarmente problematica. Questo ostacolo ha probabilmente rallentato lo sviluppo del mercato dei video AI e potrebbe spiegare perché OpenAI non ha ancora rilasciato pubblicamente il suo modello “Sora”.
Un esempio di queste sfide è il lancio della “Dream Machine” di Luma, avvenuto a giugno, che ha causato un sovraccarico del sistema e l’acquisto urgente di migliaia di GPU da diversi fornitori per far fronte alla domanda.
Nonostante queste limitazioni, le GPU NVIDIA rimangono la scelta preferita per l’addestramento di modelli video. Tuttavia, le aziende del settore sono ansiose di testare il futuro chip AI di NVIDIA, il “Blackwell”, che promette una memoria molto più grande e potrebbe risolvere alcuni dei problemi attuali.
Nel frattempo, AMD vede un’opportunità per emergere nel mercato della generazione video con il suo chip “MI300X”, che offre più del doppio della memoria rispetto all’H100 di NVIDIA. AMD potrebbe beneficiare di questa situazione, soprattutto se il rilascio del Blackwell di NVIDIA subisce ritardi. Il lancio del Blackwell, inizialmente previsto per l’inizio dell’anno, potrebbe essere posticipato di oltre tre mesi a causa di un difetto di progettazione.