GPU Server 規格怎麼看?H100/A100/L40S 選型指南
💡 快速答案:GPU Server 規格怎麼看?H100、A100、L40S 該選哪一張? 看 GPU Server 規格先抓五個數字:VRAM、記憶體頻寬、TFLOPS、互連與功耗。H100 適合訓練、L40S 主打推論繪圖;台灣 H100 單卡月租約 NT$50,000,戰國策可先租後買,降低選錯風險。 看 GPU Server 規格表,先抓五個數字:VRAM 容量、記憶體頻寬、TFLOPS 算力、卡間互連、整機功耗,九成的選型問題都能靠這五項回答。這篇指南用 H100、A100、L40S 三張市場主力卡當座標,逐一解釋每個規格背後代表的實際能力,最後附上依工作負載整理的選型速查表。你不需要懂半導體,只要看得懂這幾個數字的相對關係,就足以跟供應商平起平坐地對話。 GPU Server 規格表的五個關鍵數字 拿到規格書,照這個順序檢查:第一,VRAM 容量與種類——決定模型裝不裝得下;第二,記憶體頻寬——決定資料餵不餵得飽;第三,TFLOPS 與支援精度——決定算得多快;第四,互連介面(NVLink、PCIe 世代)——決定多卡協作的效率;第五,功耗與散熱設計——決定機房裝不裝得下。其餘的核心數量、時脈這些參數,對採購決策的影響遠小於這五項,看不懂可以先跳過,不影響判斷。 先預告兩個規格表上的經典陷阱:一是算力數字「含稀疏化」與「不含」可以差一倍,比較時務必對齊基準;二是同一顆晶片有 SXM 與 PCIe 兩種版本,頻寬與功耗上限完全不同,只寫「H100」三個字的報價單,資訊是不完整的。這兩點下面會展開講。 為什麼要花力氣看懂這五個數字?因為它們是採購、財務與工程三方唯一的共同語言。工程師關心跑不跑得動、跑多快;財務關心攤提與月費;採購關心規格書怎麼寫才不會被鑽漏洞。把需求翻譯成這五個數字,三方對話的誤差會小很多——我們看過太多專案卡在各說各話,最後買到一台誰都不滿意的機器。 另外先建立一個心理準備:規格數字是「上限」,不是「日常」。實際吞吐取決於模型結構、批次大小、資料管線與軟體版本,同一張卡在不同團隊手上跑出兩倍差距很正常。規格表幫你排除絕對不夠用的選項;至於用得多好,是工程功力的範疇。兩件事分開看,期望值才不會失真。 ▲ NVLink 900GB/s 高速互連,多卡訓練的頻寬命脈 VRAM 與 HBM:先確認模型裝不裝得下 VR
