GDDR7 vs HBM 顯存怎麼分?一張圖看懂 GPU 記憶體對 AI 效能的影響

選 GPU 的時候,多數人盯著 TFLOPS 算力數字看,但做 AI 推論的老手都知道一個殘酷事實:八成的時間,瓶頸不在算力,在記憶體。同一個模型,搬到頻寬高一倍的卡上,tokens/s 幾乎跟著翻倍,算力根本沒吃滿。這篇把 GDDR7、GDDR6X、HBM 這幾種顯存的物理差異、規格數字、成本結構一次講透,最後給你一套「用頻寬估推論吞吐」的心算公式,以後看規格表就能自己判斷,不用被行銷話術帶著走。畢竟顯存的規格差距,最後都會變成兩個很實際的數字:你的服務每秒能吐多少 token,以及你每個月要付多少租金。

兩種顯存的物理構造:平面擺設對垂直堆疊

GDDR 家族的做法是把記憶體顆粒一顆顆焊在 GPU 周圍的電路板上,訊號走 PCB 走線,每顆顆粒 32-bit 位寬,RTX 5090 用 16 顆組出 512-bit。優點是製造成熟、成本可控、良率高;缺點是 PCB 走線的物理極限,位寬做不寬、訊號速率再快也有天花板。GDDR7 用 PAM3 編碼把單腳位速率推到 28Gbps 以上,已經是這條路線的高段位操作。

HBM(High Bandwidth Memory)直接換一條路:把 8 到 12 層 DRAM 晶片垂直堆疊,用矽穿孔(TSV)連通,再透過矽中介層(interposer)與 GPU 晶片並肩封裝在一起。訊號距離從公分級縮到毫米級,位寬直接開到單堆疊 1,024-bit,H100 用 5 個堆疊組出 5,120-bit。等於 GDDR 在比「單線道的車速」,HBM 直接蓋了四十線道的高速公路。這也是為什麼資料中心級 AI 卡清一色採用 HBM,頻寬的量級就是不同。

GDDR7 這一代的工程亮點在訊號編碼:從 GDDR6X 的 PAM4 改為 PAM3,在訊號完整性與功耗之間取得更好的平衡,單腳位速率起步 28Gbps、規格上限上看 40Gbps 級,還有成長空間。但位寬受限於 PCB 佈線與晶片接腳數,512-bit 已經接近消費卡的工程極限,想再翻倍頻寬,路只剩下往 HBM 的方向走,而那是完全不同的成本世界。

規格對照表:五種顯存一次看懂

兩個值得停下來看的數字。一,GDDR7 的 1,792GB/s 其實已經摸到 HBM2e 的地盤,消費卡吃到了三年前資料中心卡的頻寬水位,這是 RTX 5090 推論表現亮眼的根本原因。二,HBM3e 對 GDDR7 依然保有 2.7 到 4.5 倍的差距,而且容量天花板完全不同,141GB 對 32GB,這條鴻溝短期內不會被填平。

你可能會問:那為什麼消費卡不乾脆用 HBM?其實十年前 AMD 出過 HBM 消費卡,結果成本壓不下來、容量還受限,市場用鈔票投了反對票。以 4090 的定位為例,換上 HBM 成本估計要多五成以上,對遊戲與創作者市場完全不成立;反過來,資料中心客戶為頻寬付錢眼睛都不眨,兩條產品線就此分道揚鑣。同樣的邏輯放在工作站卡上:RTX PRO 6000 用 96GB 的 GDDR7 而不是 HBM,就是要把容量做大、價格壓在 H100 的一半以下,精準卡位「要容量、不要極致頻寬」的市場。看懂這個分工,規格表上的價差就不再神祕。

推論吞吐的心算公式:頻寬除以模型大小

大模型推論在低批次下是頻寬綁定的:每產生一個 token,GPU 要把整套模型權重從顯存完整讀一遍。於是理論吞吐上限就是一道除法:tokens/s 約等於記憶體頻寬除以模型大小。套幾組數字感受一下:8B 模型 FP16 精度約 16GB,在 4090 上的理論上限是 1,008 除以 16 等於每秒 63 個 token,5090 是 112 個,H100 是 209 個;70B 模型 FP8 約 70GB,H100 上限約 48 tokens/s,H200 約 68 tokens/s。實際數字會因為框架效率打個七到九折,但相對比例八九不離十。

這道公式解釋了兩件事。第一,為什麼 5090 推論比 4090 快近八成,算力明明只差三成,因為吃頻寬的負載跟著頻寬走。第二,為什麼批次拉大後 HBM 卡的優勢更明顯:高併發時 KV cache 的讀寫量疊上來,頻寬的壓力是乘法不是加法。想看 5090 在真實租用情境的表現,RTX 5090 租用實測這篇有完整數據。

公式的適用邊界也要講清楚:批次拉大之後,權重讀取由所有請求分攤,瓶頸逐漸轉向算力與 KV cache 的讀寫,此時頻寬公式會高估差距;預填充階段吃算力、解碼階段吃頻寬,長輸入短輸出的負載對頻寬的敏感度較低。所以嚴謹的說法是:低併發、長輸出的互動式服務最貼近這條公式,批次離線推理則要看算力與頻寬的平衡點。實務建議是拿 vLLM 的壓測工具,用自己的請求分佈(輸入長度、輸出長度、併發)跑一輪,一個下午就能得到比任何理論公式都準的答案。

訓練與長上下文:容量與頻寬都要,還要互連

訓練的記憶體需求是三層疊加:權重與優化器狀態吃容量(AdamW 全參數訓練每參數約 16 至 18 bytes)、activation 吃容量也吃頻寬、梯度交換吃卡間互連。HBM 卡在這裡的優勢是「容量大讓你少切幾張卡」:80GB 的 H100 讓 13B 模型單卡全參數微調變得可行,而 32GB 的卡要切到 4 卡以上,通訊開銷跟著上來。長上下文推論則是另一個容量戰場,70B 級模型 128K 上下文的 KV cache 單序列就要 35 至 45GB,GDDR 卡的容量在這種場景直接出局,詳細的帳我們在 H200 的 141GB 解析裡算過一輪。

所以顯存選型的完整判斷是三個維度:頻寬決定單卡吞吐、容量決定模型與上下文上限、互連決定多卡效率。GDDR 卡通常在第一維有驚喜、第二第三維有硬傷,HBM 卡三維全能但價格是另一個量級。

訓練側還有一個頻寬的隱形消費者:activation 重計算。顯存不夠時框架會用 checkpoint 換記憶體,代價是反向傳播時多一輪前向計算與資料搬運,頻寬吃緊的卡會被放大懲罰。所以同樣是「跑得動」,HBM 卡上的訓練配置可以少開重計算、少切分,有效吞吐的差距常比帳面算力差距更大,這是規格表之外的第二層效能。至於多卡互連那一維,顯存與互連的等級通常綁在一起,HBM 卡才配得上 NVLink 級的高速互連,這是平台層級的差距,不是單一零件的差距。實務上,把模型從消費卡搬上資料中心卡最常見的驚喜,不是單卡變快,而是整個訓練配方都能重新展開,批次、精度、並行方式一起鬆綁。

為什麼 HBM 貴 5 倍以上:成本結構拆解

HBM 的貴不是品牌溢價,是物理成本。TSV 堆疊製程的良率天生比平面顆粒低,一層出問題整個堆疊報廢;矽中介層需要 CoWoS 這類 2.5D 先進封裝,產能長期供不應求,而全球主要產能就在台灣的台積電手上,竹南與中科的先進封裝廠排單排到一年後,是這波 AI 供應鏈裡台灣最硬的環節之一。供應端 SK 海力士、三星、美光三家分食,議價權在賣方,單 GB 成本是 GDDR 的 5 到 8 倍,反映到整卡價格就是 H100 對 RTX 5090 的十倍身價差。

對租用者的實際意義:你付的月租裡,顯存成本佔比越來越高,所以「租對顯存等級」就是最大的省錢槓桿。用 HBM 卡跑 8B 模型是燒錢,用 GDDR 卡硬撐 70B 服務是自虐,兩種錯配都比比皆是。

這個成本結構也決定了租金走勢:GDDR 卡的租金跟著消費市場供需走,世代交替時跌得快;HBM 卡的租金底部被顯存與封裝成本撐著,跌幅平緩。2024 到 2026 年 H100 月租回落三到四成,但再往下的空間有限,因為硬體成本擺在那裡。台灣租賃市場的報價大致就反映這條線:GDDR 卡月租一萬五到八萬,HBM 卡八萬起跳,中間幾乎沒有過渡帶,顯存陣營就是分水嶺。對租方的啟示:等 HBM 卡「跳樓價」不如把現有負載的顯存等級配對好,前者等不到,後者立刻省。

功耗這條軸也值得補上,因為它同樣是顯存技術決定的。以每單位頻寬的能耗計,堆疊式記憶體的效率明顯優於平面顆粒:訊號距離短、驅動電壓低,同樣搬一份資料,吃的電少一截;平面顆粒把速率推到極限的代價,就是記憶體子系統的功耗與發熱節節上升,消費卡的顯存溫度常常比核心還難壓。反映到營運面:資料中心卡雖然單卡功耗高,但按「每產出一個 token 的電費」計,大顯存高頻寬的卡反而省電,長期高負載的服務,這筆電費差一年下來也是五位數起跳。另外企業場景在意的錯誤修正能力,HBM 與工作站級顯存都有支援,消費卡則無,長時間任務的穩定性差距就藏在這裡。把功耗、穩定性、頻寬三件事放在一起看,顯存陣營的選擇其實是整個維運成本結構的選擇,這也是我們把它稱作選型第一分水嶺的原因。

選型實務:一個台灣電商的兩段式配置

桃園一家電商平台的 AI 團隊是很好的教材。他們有兩個負載:商品推薦與客服。推薦系統用的是 8B 級模型加檢索,延遲要求 200ms 內,尖峰每秒 40 個請求;客服則要 70B 級模型撐住品質,上下文動輒 16K。團隊最後的配置是分開租:推薦服務用兩台 RTX 5090 主機(月租合計約 NT$64,000),GDDR7 的 1,792GB/s 跑 8B 模型綽綽有餘,每台理論上限破百 tokens/s;客服用一張 H100 跑 FP8 70B(月租約 NT$110,000),HBM3 的容量與頻寬缺一不可。

如果他們圖管理方便全部上 H100,月租要多出約 NT$150,000,推薦服務的頻寬利用率卻不到四成;反過來全用 5090,客服模型根本載不進去。按負載拆開配置,一年省下的租金超過 NT$180 萬。這就是看懂顯存規格的現金價值:規格表不是拿來背的,是拿來對帳的。

想知道自己現在是不是頻寬瓶頸,兩個指標一看就懂:DCGM 的記憶體頻寬使用率長期在八成以上、而 SM 使用率反而不滿,就是典型的頻寬綁定;反過來 SM 滿載、頻寬還有餘裕,升級高頻寬卡不會有等比回報。花一週把這兩條曲線收集起來,再對照本文的規格表選卡,你的租金每一塊都會花在瓶頸上。這套量測方法在雲端與在地主機上都適用,搬家前後各跑一次,還能順便驗收新環境的真實效能。

找台灣在地的 GPU 主機夥伴

顯存等級對不對,決定了你每個月的租金是投資還是浪費。戰國策集團的 GPU 主機服務同時提供 GDDR7 陣營的 RTX 系列與 HBM 陣營的 NVIDIA H100 等級機種,台灣機房低延遲、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。把你的模型大小、延遲要求與併發數丟給顧問,幫你算出頻寬需求再對卡,不多付一塊冤枉錢:官網 https://www.nss.com.tw/gpu 、LINE 官方帳號 @119m、免費專線 0800-003-191。

常見問題 FAQ

GDDR7 和 HBM 最核心的差別是什麼?

構造決定一切:GDDR7 是獨立顆粒平面焊在電路板上,位寬最多 512-bit,RTX 5090 達 1,792GB/s;HBM 是 8 至 12 層 DRAM 垂直堆疊、經矽中介層直連 GPU,位寬數千 bit,H100 的 HBM3 達 3,350GB/s、H200 的 HBM3e 達 4,800GB/s。頻寬差 2 至 4.5 倍,成本差 5 倍以上,容量上限也完全不同。一句話記憶:GDDR 是把單線道開到極速,HBM 是直接蓋四十線道,工程哲學完全不同。

為什麼大模型推論這麼吃記憶體頻寬?

因為每產生一個 token,GPU 都要把模型權重從顯存完整讀一遍。理論吞吐約等於頻寬除以模型大小:8B FP16 模型(16GB)在 1,008GB/s 的 4090 上限約 63 tokens/s,在 3,350GB/s 的 H100 上約 209 tokens/s。低批次推論時算力大多在等資料,頻寬才是天花板,這也是規格表上最該先看的數字。

GDDR7 比 GDDR6X 進步多少?

單腳位速率從 21Gbps 提升到 28Gbps 以上,並改用 PAM3 編碼,同樣 512-bit 位寬下頻寬從 1,008GB/s 跳到 1,792GB/s,增幅 78%。反映在負載上:RTX 5090 對 4090 的 LLM 推論快 1.5 至 1.8 倍、影像生成快 1.35 至 1.6 倍,增幅遠大於算力差距的三成,頻寬紅利是主因。對照月租只貴四到六成,吃頻寬的負載升級 5090,每元效能反而更高。

HBM 為什麼這麼貴?

三個成本疊加:TSV 垂直堆疊良率低,一層瑕疵全堆疊報廢;需要 CoWoS 等 2.5D 先進封裝,全球產能集中在台積電且長期滿載;供應商只有 SK 海力士、三星、美光三家,賣方市場。單 GB 成本是 GDDR 的 5 至 8 倍,這是 H100 售價與租金比消費卡高一個量級的結構性原因,短期內不會改變。

多大的模型就必須用 HBM 卡?

以生產級服務為界:量化後權重超過 30GB(約 70B 的 4-bit 或 34B 的 FP8)就該上 HBM 卡,因為 GDDR 卡最大 96GB 的 RTX PRO 6000 雖裝得下 70B 量化版,但頻寬在高併發下吃緊;上下文超過 32K 的長文本應用,KV cache 動輒數十 GB,更是 HBM 的主場。14B 以下模型用 GDDR7 卡,每元效能反而更好。

影像生成該選 GDDR7 還是 HBM?

絕大多數選 GDDR7。Stable Diffusion XL、Flux.1 這類模型在 12B 上下,32GB 的 RTX 5090 全載綽綽有餘,出圖速度比 4090 快 1.35 至 1.6 倍,月租僅 NT$25,000 至 40,000。影片生成模型對容量與頻寬更貪,需求大的工作室再考慮 96GB 的 RTX PRO 6000;租 H100 跑文生圖屬於高射砲打蚊子。若同時要跑影片生成與 LLM 服務,建議分開租不同等級的卡,硬用一張大卡通常兩頭不討好。

KV cache 到底吃多少顯存?

隨模型架構、上下文與併發線性成長。以 GQA 架構的 70B 模型為例,單序列 128K 上下文約吃 35 至 45GB;若要同時服務 10 路 32K 上下文,cache 需求就約 90 至 110GB。這解釋了 H200 的 141GB 為何搶手:裝完 70GB 的 FP8 權重還剩約 70GB 給 cache,長上下文併發能力是 80GB 卡的六倍以上。

頻寬和算力,規格表該先看哪個?

推論看頻寬,訓練看兩者。簡單心算:模型大小乘以目標 tokens/s,得出需要的頻寬;例如 16GB 模型要 100 tokens/s,就需要 1,600GB/s 以上,GDDR7 剛好及格。若算出來超過 2,000GB/s 就進 HBM 選區。訓練另需看容量(全參數微調每參數約 16 至 18 bytes)與多卡互連,單看任何一個數字都會選錯。

台灣的 HBM 供應鏈扮演什麼角色?

關鍵中的關鍵。HBM 與 GPU 的整合仰賴 CoWoS 先進封裝,全球主要產能在台積電,擴產速度直接決定 H100、H200、B200 的全球出貨量;2024 至 2026 年 CoWoS 產能翻了一倍以上仍供不應求。對台灣用戶的實際影響是:在地整機供應與維修體系成熟,租用市場的機種更新速度不輸國際主要市場。

下一代顯存會怎麼走,現在租卡要考慮嗎?

方向明確:HBM3e 之後的 HBM4 預計把單堆疊頻寬再翻倍,B200 已用 192GB HBM3e 達 8TB/s;GDDR7 則會往 3GB 顆粒發展,消費卡容量可望到 48GB。對租用者的建議是別為未來規格付今天的溢價,月租制的彈性就是拿來對沖世代更迭的,6 至 12 個月合約、需求到了就轉租新卡,比一次押注划算。