Durante l’evento “Advancing AI”, AMD ha presentato con orgoglio il suo acceleratore MI300X, ma il confronto con il rivale NVIDIA H100 ha scatenato una sfida epica. Durante la presentazione, Lisa Su, CEO di AMD, e il suo team hanno mostrato le straordinarie capacità dell’MI300X confrontandole con le prestazioni di inferenza del NVIDIA H100 utilizzando Llama 2. Sorprendentemente, un singolo server AMD equipaggiato con otto MI300X è risultato essere 1,6 volte più veloce del server H100.
Tuttavia, NVIDIA non è rimasta a guardare e ha respinto questa affermazione. In un post sul blog, NVIDIA ha sostenuto che, se valutato in modo appropriato con il software ottimizzato, il suo GPU H100 supera l’MI300X di AMD in modo significativo.
La controversia è emersa quando NVIDIA ha affermato che AMD non aveva integrato le ottimizzazioni necessarie nel confronto con TensorRT-LLM. NVIDIA ha deciso di confrontare un singolo H100 con otto H100 in esecuzione del modello di chat Llama 2 70B. I risultati ottenuti con un software precedente alla presentazione di AMD hanno dimostrato prestazioni due volte superiori con una dimensione batch di 1. Ancora più sorprendente, quando si è applicata la latenza standard di 2,5 secondi utilizzata da AMD, NVIDIA ha surclassato l’MI300X di ben 14 volte.
Inaspettatamente, AMD ha risposto alla sfida di NVIDIA introducendo nuovi benchmark per l’MI300X, dimostrando un aumento delle prestazioni del 30% rispetto all’H100, anche con un stack software ottimizzato.
In un’azione che rispecchia le condizioni di test di NVIDIA con TensorRT-LLM, AMD ha considerato la latenza, un elemento comune nei carichi di lavoro dei server. AMD ha sottolineato i vantaggi dell’FP16 utilizzato con vLLM rispetto all’FP8, esclusivo di TensorRT-LLM. Ha anche evidenziato che NVIDIA ha effettuato i benchmark con il proprio TensorRT-LLM su H100 invece di utilizzare vLLM, ampiamente adottato.
Inoltre, AMD ha sottolineato una discrepanza nell’uso dei tipi di dati, con NVIDIA che ha utilizzato vLLM FP16 su AMD e lo ha confrontato con TensorRT-LLM di DGX-H100 con tipo di dati FP8. AMD ha difeso la sua scelta di vLLM con FP16, citando la sua diffusa adozione, a differenza di vLLM, che non supporta l’FP8.
Un’altra questione controversa riguarda la considerazione della latenza negli ambienti server. AMD ha criticato NVIDIA per aver concentrato l’attenzione esclusivamente sulle prestazioni di throughput, trascurando i problemi di latenza del mondo reale.
Per ribattere al metodo di test di NVIDIA, AMD ha condotto tre esecuzioni delle prestazioni utilizzando TensorRT-LLM di NVIDIA, con l’ultima esecuzione che ha misurato specificamente la latenza tra MI300X e vLLM, utilizzando il set di dati FP16 rispetto a H100 con TensorRT-LLM. I risultati dei test hanno dimostrato un miglioramento delle prestazioni e una riduzione della latenza. AMD ha quindi applicato ulteriori ottimizzazioni, ottenendo un aumento delle prestazioni di 2,1 volte rispetto all’H100 durante l’esecuzione di vLLM su entrambe le piattaforme.
Questa competizione epica tra AMD e NVIDIA, lungamente attesa, rappresenta un segnale evidente del riscaldamento della concorrenza nel settore. Ora spetta a NVIDIA formulare una risposta, considerando le implicazioni dell’abbandono dell’FP16 in favore del sistema chiuso di TensorRT-LLM con FP8. Nel frattempo, altri attori come Intel e Cerebras stanno emergendo nel mercato delle GPU, rendendo la competizione ancora più interessante.
La palla è ora nelle mani di NVIDIA per affrontare questa sfida e per mantenere la sua posizione di leader nel settore dell’intelligenza artificiale. Con il mercato delle GPU in crescita esponenziale, la competizione promette di diventare sempre più accesa.
Non sono solo AMD e NVIDIA a contendersi il dominio del settore, ma anche altri attori come Cerebras Systems e Intel. Gli sforzi di queste aziende per affermarsi sul mercato promettono di portare ulteriori innovazioni e opzioni per gli acquirenti.
In conclusione, la sfida tra AMD e NVIDIA rappresenta solo una parte di un panorama competitivo più ampio e in evoluzione nel settore dell’IA. Con un mercato in crescita, c’è spazio per molte aziende di successo, e il futuro promette di essere ancora più interessante.