設置
  • 日夜間
    隨系統
    淺色
    深色
  • 主題色

AMD MI300X GPU 測試,性能遠超英偉達 H100

2024/6/27 11:54:50 來(lái)源:IT之家 作者:故淵 責編:故淵

IT之家 6 月 27 日消息,科技博客 Chips and Cheese 于 6 月 25 日發(fā)布博文,詳細測試了 AMD MI300X GPU,并在高速緩存、延遲、推理等方面對比后發(fā)現,性能遠超英偉達的 H100。

MI300X 簡(jiǎn)介

AMD Instinct MI300X 人工智能加速器基于 CDNA 3 架構打造,采用混合的 5nm 和 6nm 制程工藝,最多擁有 1530 億晶體管。

存儲方面也獲得了巨大提升,MI300X 的 HBM3 容量比上一代的 MI250X (128 GB) 高出 50%。

與英偉達 H100 相比,MI300X 擁有以下優(yōu)勢:

  • 內存容量高出 2.4 倍

  • 內存帶寬高出 1.6 倍

  • FP8 性能 (TFLOPS) 高出 1.3 倍

  • FP16 性能 (TFLOPS) 高出 1.3 倍

  • 在 1v1 對比測試中,性能方面可領(lǐng)先 H100 (Llama 2 70B) 最多 20%

  • 在 1v1 對比測試中,性能方面可領(lǐng)先 H100 (FlashAttention 2) 最多 20%

  • 在 8v8 服務(wù)器對比測試中,性能方面可領(lǐng)先 H100 (Llama 2 70B) 最多 40%

  • 在 8v8 服務(wù)器對比測試中,性能方面可領(lǐng)先 H100 (Bloom 176B) 最多 60%

高速緩存

AMD MI300X 配備了 32KB L1 緩存、16KB 標量緩存、4MB L2 緩存和一個(gè)巨大的 256MB Infinity Cache(作為 L3 緩存)。

hips and Cheese 的緩存基準測試表明,在所有相關(guān)緩存級別中,MI300X 的緩存帶寬都大大優(yōu)于 Nvidia 的 H100。

一級緩存性能顯示 MI300X 的帶寬是 H100 的 1.6 倍,二級緩存的帶寬是 H100 的 3.49 倍,MI300X 的最后一級緩存(即無(wú)限緩存)的帶寬是 H100 的 3.12 倍。

顯存帶寬

AMD GPU 的本地 HBM3 內存是 H100 PCIe 的 2.72 倍,VRAM 帶寬是 H100 PCIe 的 2.66 倍。

在內存測試中,AMD GPU 唯一失利的地方是內存延遲結果,H100 比 AMD GPU 快 57%。

請注意,這是最低規格的 H100 PCIe 顯卡,擁有 80GB HBM2E。后續版本(如 H200)包含高達 141GB 的 HBM3E,帶寬最高可達 4.8 TB / s。

Raw 吞吐量

Chips and Cheese 的指令吞吐量結果考慮了 INT32、FP32、FP16 和 INT8 計算。

AMD 芯片的指令吞吐量高得離譜。有時(shí),MI300X 比 H100 快 5 倍,最差時(shí)也快 40%。

人工智能推理測試

IT之家附上原文地址,感興趣的用戶(hù)可以深入閱讀。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時(shí)間,結果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:AMD,MI300X,英偉達,H100

軟媒旗下網(wǎng)站: IT之家 辣品 - 超值導購,優(yōu)惠券 最會(huì )買(mǎi) - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 魔方 酷點(diǎn)桌面 Win7優(yōu)化大師 Win10優(yōu)化大師 軟媒手機APP應用