IT之家 6 月 27 日消息，科技博客 Chips and Cheese 于 6 月 25 日發(fā)布博文，詳細(xì)測試了 AMD MI300X GPU，并在高速緩存、延遲、推理等方面對比后發(fā)現(xiàn)，性能遠(yuǎn)超英偉達(dá)的 H100。
MI300X 簡介
AMD Instinct MI300X 人工智能加速器基于 CDNA 3 架構(gòu)打造，采用混合的 5nm 和 6nm 制程工藝，最多擁有 1530 億晶體管。
存儲方面也獲得了巨大提升，MI300X 的 HBM3 容量比上一代的 MI250X (128 GB) 高出 50%。
與英偉達(dá) H100 相比，MI300X 擁有以下優(yōu)勢：
內(nèi)存容量高出 2.4 倍
內(nèi)存帶寬高出 1.6 倍
FP8 性能 (TFLOPS) 高出 1.3 倍
FP16 性能 (TFLOPS) 高出 1.3 倍
在 1v1 對比測試中，性能方面可領(lǐng)先 H100 (Llama 2 70B) 最多 20%
在 1v1 對比測試中，性能方面可領(lǐng)先 H100 (FlashAttention 2) 最多 20%
在 8v8 服務(wù)器對比測試中，性能方面可領(lǐng)先 H100 (Llama 2 70B) 最多 40%
在 8v8 服務(wù)器對比測試中，性能方面可領(lǐng)先 H100 (Bloom 176B) 最多 60%
高速緩存
AMD MI300X 配備了 32KB L1 緩存、16KB 標(biāo)量緩存、4MB L2 緩存和一個巨大的 256MB Infinity Cache（作為 L3 緩存）。
hips and Cheese 的緩存基準(zhǔn)測試表明，在所有相關(guān)緩存級別中，MI300X 的緩存帶寬都大大優(yōu)于 Nvidia 的 H100。
一級緩存性能顯示 MI300X 的帶寬是 H100 的 1.6 倍，二級緩存的帶寬是 H100 的 3.49 倍，MI300X 的最后一級緩存（即無限緩存）的帶寬是 H100 的 3.12 倍。
顯存帶寬
AMD GPU 的本地 HBM3 內(nèi)存是 H100 PCIe 的 2.72 倍，VRAM 帶寬是 H100 PCIe 的 2.66 倍。
在內(nèi)存測試中，AMD GPU 唯一失利的地方是內(nèi)存延遲結(jié)果，H100 比 AMD GPU 快 57%。
請注意，這是最低規(guī)格的 H100 PCIe 顯卡，擁有 80GB HBM2E。后續(xù)版本（如 H200）包含高達(dá) 141GB 的 HBM3E，帶寬最高可達(dá) 4.8 TB / s。
Raw 吞吐量
Chips and Cheese 的指令吞吐量結(jié)果考慮了 INT32、FP32、FP16 和 INT8 計算。
AMD 芯片的指令吞吐量高得離譜。有時，MI300X 比 H100 快 5 倍，最差時也快 40%。
人工智能推理測試
IT之家附上原文地址，感興趣的用戶可以深入閱讀。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。