高頻寬記憶體HBM是什麼?為什麼英偉達、AMD都在搶HBM?

撰稿人：大仁

發布日期: 2026年08月11日
更新日期: 2026年08月11日

在生成式AI 與大語言模型爆發的浪潮中，算力競爭已經演變成一場關於「資料搬運速度」的生死戰。

過去，評估一塊AI 晶片(GPU/NPU)性能，產業習慣看「浮點運算能力」(TFLOPS/PFLOPS)。但如今，英偉達(NVIDIA)、AMD 等晶片巨頭面臨的最大挑戰並非運算單元不夠快，而是「記憶體牆」資料從記憶體傳輸到GPU 運算核心的速度，遠遠跟不上運算核心處理資料的速度。

而高頻寬記憶體(High Bandwidth Memory ，簡稱HBM)，正是打破這一瓶頸的核心武器，HBM概念股迎來火爆行情。

高频宽记忆体

什麼是高頻寬記憶體HBM?

HBM是一種基於3D 堆疊技術的高效能DRAM 記憶體架構。如果把傳統的DDR 或GDDR 顯存比作平房或高樓大廈，那麼HBM 就是將多層DRAM 晶片縱向堆疊在一起的“摩天大樓”，並通過極精密的技術直接與GPU 封裝在同一塊基板上。

高频宽记忆体HBM封装结构

▶HBM 的三大技術突破：

1.3D 晶片堆疊(3D Stacking)

利用TSV(Through-Silicon Via，矽通孔技術) 在DRAM 晶片上打出數以千計的微小孔洞，將4 層、8 層甚至12/16 層DRAM 縱向連接起來，極大縮減了佔板面積。

2.極寬的資料匯流排(Ultra-Wide Bus)

傳統的GDDR6 顯存位寬通常為32-bit，即使多顆組合也多在256-bit 到384-bit 之間;而單一HBM 堆疊的通道位寬就高達1024-bit(到了HBM4 更是擴展至2048-bit)。位元寬擴大數十倍，資料吞吐量呈現指數級上升。

3.先進封裝與極短傳輸路徑(In-Package Integration)

HBM 不再插在主機板或獨立焊接在PCB 上，而是透過台積電CoWoS 等先進封裝技術，與GPU 晶片共同安置在同一個中介層(Interposer)上。傳輸距離從公分級縮短到毫米級，延遲與功耗大幅降低。

在AI 加速卡(如NVIDIA H100/H200/B200、AMD MI300X/MI350)的成本與效能構成中，HBM 佔據了舉足輕重的地位。巨頭們搶購HBM，背後有四個核心驅動力：

1.破解「記憶體牆」：別讓GPU 核心空轉等待

深度學習訓練與推理需要即時調取數百億至數兆等級的參數。如果記憶體頻寬不足，算力再強的GPU 也會因為「等資料送達」而處於空轉閒置狀態(即受限於頻寬瓶頸)。

2.大語言模型對「高容量+高速度」的雙重渴求

一個700B(7000億參數)的模型，光是把參數加載進顯存就需要數百GB 的容量，更不用說運行時產生的KV Cache 和中間計算狀態。

AMD MI300X 搭載了192GB 的HBM3，主打就是靠單卡超大顯存容納更大模型。
NVIDIA H200 升級為141GB HBM3e，比前代H100 的推理效能大幅提升。
NVIDIA Blackwell(B200/GB200)與Rubin 架構則全面邁向HBM3e 與HBM4.顯存容量與頻寬直接決定了能支撐多大規模的AI 叢集。

3. 能耗比(Performance-per-Watt)的硬性指標

資料中心最貴的不只是硬件，還有電費與散熱成本。

在傳統電路中，將資料在PCB 板上傳輸公分級的距離會消耗大量能量。 HBM 通過矽通孔和中介層極短的傳輸距離，使得每傳輸一個Byte 資料所需的能量(pJ/bit)比傳統顯存低50% 以上。

對於動輒數萬張GPU 組成的AI 資料中心來說，這能省下驚人的電力開銷。

4. 產能即血統：誰搶到HBM，誰就能掌控市場份額

HBM 的製造流程極為複雜，良品率提升緩慢，且產能被三大儲存巨頭(SK 海力士、三星、美光)高度壟斷。

「拿到多少HBM 產能，就能出貨多少AI 加速卡。」對英偉達而言，鎖定HBM 供應鏈能鞏固其市場統治地位，防止競爭對手彎道超車;對AMD 而言，搶佔高品質HBM 則是其旗艦AI 晶片能否放量衝刺、瓜分市場份額的關鍵命脈。