💡 快速答案:GPU Server 規格怎麼看?H100、A100、L40S 該選哪一張?
看 GPU Server 規格先抓五個數字:VRAM、記憶體頻寬、TFLOPS、互連與功耗。H100 適合訓練、L40S 主打推論繪圖;台灣 H100 單卡月租約 NT$50,000,戰國策可先租後買,降低選錯風險。
看 GPU Server 規格表,先抓五個數字:VRAM 容量、記憶體頻寬、TFLOPS 算力、卡間互連、整機功耗,九成的選型問題都能靠這五項回答。這篇指南用 H100、A100、L40S 三張市場主力卡當座標,逐一解釋每個規格背後代表的實際能力,最後附上依工作負載整理的選型速查表。你不需要懂半導體,只要看得懂這幾個數字的相對關係,就足以跟供應商平起平坐地對話。
GPU Server 規格表的五個關鍵數字
拿到規格書,照這個順序檢查:第一,VRAM 容量與種類——決定模型裝不裝得下;第二,記憶體頻寬——決定資料餵不餵得飽;第三,TFLOPS 與支援精度——決定算得多快;第四,互連介面(NVLink、PCIe 世代)——決定多卡協作的效率;第五,功耗與散熱設計——決定機房裝不裝得下。其餘的核心數量、時脈這些參數,對採購決策的影響遠小於這五項,看不懂可以先跳過,不影響判斷。
先預告兩個規格表上的經典陷阱:一是算力數字「含稀疏化」與「不含」可以差一倍,比較時務必對齊基準;二是同一顆晶片有 SXM 與 PCIe 兩種版本,頻寬與功耗上限完全不同,只寫「H100」三個字的報價單,資訊是不完整的。這兩點下面會展開講。
為什麼要花力氣看懂這五個數字?因為它們是採購、財務與工程三方唯一的共同語言。工程師關心跑不跑得動、跑多快;財務關心攤提與月費;採購關心規格書怎麼寫才不會被鑽漏洞。把需求翻譯成這五個數字,三方對話的誤差會小很多——我們看過太多專案卡在各說各話,最後買到一台誰都不滿意的機器。
另外先建立一個心理準備:規格數字是「上限」,不是「日常」。實際吞吐取決於模型結構、批次大小、資料管線與軟體版本,同一張卡在不同團隊手上跑出兩倍差距很正常。規格表幫你排除絕對不夠用的選項;至於用得多好,是工程功力的範疇。兩件事分開看,期望值才不會失真。
VRAM 與 HBM:先確認模型裝不裝得下
VRAM 是 GPU 的工作空間,模型參數、KV 快取、批次資料全都要塞進去。粗略的估算規則:FP16 推論約需「參數量乘以 2 bytes」——7B 模型約 14GB、13B 約 26GB、70B 約 140GB;全參數訓練連同梯度與優化器狀態,需求會膨脹到推論的八到十倍,這就是訓練動輒要多卡的原因。
容量之外,「種類」影響更大。H100 採用 HBM3,80GB 容量、SXM 版頻寬約 3.35TB/s;A100 採用 HBM2e,80GB、約 2TB/s;L40S 採用 GDDR6,48GB、864GB/s。頻寬差距近四倍,意思是同樣的模型權重,H100 掃完一輪的時間只要 L40S 的四分之一——推論服務每秒能吐出的 token 數,常常直接反映這個比值。
還有一個容易被忽略的變數是上下文長度。長上下文的 KV 快取會隨著序列長度線性膨脹,同時服務的併發數一多,VRAM 就被快取吃光。如果你的應用是動輒數萬 token 的文件分析,VRAM 要抓得比「參數量乘以二」寬裕許多,這也是 80GB 卡對推論服務仍有價值的原因。
那記憶體不夠會發生什麼事?輕則系統自動把資料搬到速度慢一個數量級的主機記憶體,吞吐直接崩落;重則任務中止、排隊重跑。工程上的補救手段有梯度累積、模型量化、參數卸載幾種,但每一種都是拿時間或精度去換空間,治標不治本。選型階段把記憶體抓寬裕一點,比上線後再來調參數省事得多,這筆帳幾乎永遠划算。
TFLOPS 與精度:FP32、FP16、FP8 差在哪
TFLOPS 是每秒兆次浮點運算,但同一張卡在不同精度下的數字可以差十倍,看規格要先對齊精度。FP32 是傳統科學運算精度;深度學習主流用 FP16 或 BF16,每個數字用 16 位元表示,速度翻倍、記憶體減半而精度損失可控;H100 與 L40S 這一代再往下支援 FP8,搭配 Transformer Engine,對大型語言模型的訓練與推論吞吐又是一次跳升,A100 則不支援 FP8,這是世代之間的實質差距。
給你具體數字:FP16 張量算力 H100 約 990 TFLOPS、A100 為 312、L40S 約 366;啟用稀疏化技術後帳面值可以再翻倍,但實務增益依模型結構而定。行銷資料最喜歡引用「含稀疏化」的最大值,比較時務必確認基準一致,不然等於被灌水一倍。
科學運算是另一個世界:計算流體力學、結構模擬這類 FP64 雙精度需求,H100 有專門的雙精度單元,L40S 的 FP64 能力則非常有限,拿去跑模擬等於用錯工具。反過來,純推論場景還可以再往下走 INT8 量化,吞吐與成本會更漂亮,前提是先驗證精度掉得可接受。
規格表上的「張量核心」也順便解釋:它是專門做矩陣乘加的硬體單元,深度學習的絕大多數運算都落在這裡,所以看算力要看張量核心那一欄,而不是傳統的通用核心數字。世代愈新,張量核心支援的精度愈低、吞吐愈高,這也是新卡在同樣功耗下效能翻倍的主要來源。
實務上的精度策略是這樣:訓練一律用混合精度,框架會自動在關鍵步驟保留較高精度,穩定性與速度可以兼得;推論則先用 FP16 建立品質基準,再逐步嘗試更低精度,每降一階就跑一次評測集,確認輸出品質在可接受範圍才上線。精度是效能調校裡投報率最高的一顆旋鈕,但轉之前要先有量測基準,不然省了算力、賠了品質,得不償失。
NVLink 與 PCIe:多卡協作的規格門檻
單卡工作看前兩節就夠,多卡就要看互連。訓練 70B 等級的模型需要把參數切到多張卡上,卡與卡之間每一步都要交換大量梯度:H100 的 NVLink 提供 900GB/s 卡間頻寬,A100 世代為 600GB/s,走 PCIe Gen5 x16 則只有約 128GB/s 雙向——與 NVLink 差了七倍。這就是八卡訓練平台幾乎都採 SXM 形式加 NVLink 全互連的原因;而 L40S 沒有 NVLink,天生就不是為多卡聯合訓練設計的。
跨主機擴展另外看網路卡:InfiniBand NDR 可達 400Gb/s,RoCE 方案常見 100 到 200Gb/s。經驗法則是:單卡或彼此獨立的推論,PCIe 版就好;四卡以上聯合訓練,NVLink 是及格線;十六卡以上跨機叢集,沒有高速 RDMA 網路就不用談擴展效率,加機器只是加心酸。
多卡機還要追問一個細節:互連拓撲。同樣號稱八卡,有的機型任兩張卡之間都有全速通道,有的是部分互連、跨群組通訊要繞路,實際訓練效率可能差上一到兩成。下單前跟供應商要一張拓撲圖,或直接詢問是否透過交換晶片做全互連——這一題答得含糊的,規格多半有故事。
CPU、記憶體與 NVMe:配比錯了,GPU Server 照樣龜速
GPU Server 不是只看 GPU,周邊配比抓錯,再貴的卡也跑不滿。三個經驗值:每張 GPU 搭配 8 到 16 個實體 CPU 核心,負責資料前處理與任務排程;系統記憶體至少是總 VRAM 的兩倍,八卡 H100 共 640GB,主機記憶體就配 1TB 起;儲存用企業級 NVMe,循序讀取 7GB/s 級,資料集大就再加本地快取層或平行檔案系統。
我們看過最可惜的案例,是客戶自購八卡機卻配了入門級 CPU 與 SATA SSD,GPU 使用率長期不到四成——等於花八卡的錢買四卡的產出,監控圖打開一目瞭然。租用方案的好處之一,是主機商已經把配比調成驗證過的套餐;自行採購的話,把這三個比例寫進規格書,請供應商照著開。
軟體環境也算廣義的配比。驅動與函式庫版本跟框架的相容性,是新手最常摔跤的地方:版本對不上,輕則效能打折,重則整個環境起不來。建議用容器把環境固定下來,主機層只留驅動,升級時先在測試環境驗證再滾動上線;租用方案通常附有調校好的映像檔,這是連老手都願意付錢的隱形價值。
H100、A100、L40S 規格對照與選型建議
| 規格項目 | H100(SXM) | A100 80GB | L40S |
|---|---|---|---|
| VRAM | 80GB HBM3 | 80GB HBM2e | 48GB GDDR6 |
| 記憶體頻寬 | 約 3.35TB/s | 約 2TB/s | 864GB/s |
| FP16 張量算力 | 約 990 TFLOPS | 312 TFLOPS | 約 366 TFLOPS |
| FP8 支援 | 有 | 無 | 有 |
| NVLink | 900GB/s | 600GB/s | 無 |
| 市場定位 | 訓練與高階推論 | 均衡型主力 | 推論、繪圖、影音 |
白話翻譯:H100 是訓練與尖端推論的首選,預算許可就直接選它,省下的時間比價差值錢;A100 進入成熟期,微調與既有模型的推論仍然非常稱職,租金明顯較低,是「夠用就好」路線的甜蜜點;L40S 是推論與視覺運算的性價比之王,48GB VRAM 對多數生成式應用夠用,但別拿它組訓練叢集。
還有一組常見的選擇題:同樣預算,要一張頂規卡,還是兩張中階卡?我們的建議是看工作型態——單一大模型的訓練或低延遲推論,一張頂規卡勝出,因為跨卡通訊永遠有代價;多條產品線各跑各的模型,兩張中階卡的排程彈性更好,一張出狀況另一張還能頂著。沒有標準答案,但有標準的問法。
租金座標也給你:台灣市場 H100 單卡月租約 50,000 元、MIG 四分之一卡約 15,000 元,戰國策這類領先的AI算力服務平台都有公開牌價可查;拿月租除以上表的算力,就能自己算出每 TFLOPS 的單位成本,比較時最不容易被話術牽著走。
順帶提醒兩個便宜的誘惑。一是二手礦卡或工作站卡改裝的「GPU主機」,價格漂亮,但記憶體規格、散熱設計與韌體來源都有問號,拿來跑正式業務的風險自己掂量;二是海外冷門品牌的整機,出問題時報修管道與備品都在地球另一端,省下的價差可能一次維修就吐回去。規格看得懂之後,更要看得懂規格以外的東西。
依工作負載的選型速查表
| 工作負載 | 建議配置 | 理由 |
|---|---|---|
| LLM 預訓練、70B 全參數微調 | H100 八卡(NVLink) | 算力與卡間頻寬缺一不可 |
| 7B 到 13B 模型微調 | H100 一到二卡,或 A100 二卡 | LoRA 單卡可行,全參數需要雙卡 |
| 線上推論(對話、RAG) | L40S 或 H100 MIG | 重延遲與單位成本,FP8 是加分項 |
| 圖像生成、影片處理 | L40S | 48GB 夠用,編解碼器強 |
| FP64 科學模擬 | H100 | 雙精度單元完整,L40S 不適用 |
順序問題再提醒一次:先定工作負載,再選卡,最後才挑主機規格。反過來從「手上有什麼卡」出發的採購,幾乎都會在半年內追加預算。這也是完整的 AI 伺服器解決方案與單純賣硬體的差別——前者會先問你要跑什麼,後者只想把庫存出掉。
驗收環節同樣別省:開機第一天用 nvidia-smi 核對型號、卡數與 VRAM 容量,再跑一輪頻寬與 NCCL 多卡通訊測試,對照合約規格,有落差當場處理。規格表看得再熟,最終還是要用實測數字說話。
選完型也不代表結束,容量規劃才正要開始。健康的做法是把使用率儀表板當成例行報表:連續一季高於七成,提前規劃擴充,免得需求來了還在等交期;連續一季低於三成,檢討是否降規或釋出。算力跟人力一樣,是需要管理的資產,不是買來就自動產生價值的魔法盒子;這套節奏跑順了,算力預算會從每年一次的豪賭,變成每季一次的微調。
GPU 主機常見問題 FAQ
H100 的 GPU Server 月租多少錢?
台灣行情:H100 單卡月租約 NT$50,000、MIG 四分之一卡約 NT$15,000、八卡叢集 NT$350,000;雲端八卡隨需約 US$98/小時。長期全時使用,實體租用的總價低很多。
L40S 比 H100 便宜多少?
採購價約為 H100 的三分之一到四分之一(單卡約 NT$30 萬,H100 逾 NT$100 萬),租金也明顯較低。推論、圖像生成與渲染場景,L40S 的每元效能常常反而更好。
HBM 和 GDDR 記憶體差在哪裡?
HBM 採堆疊封裝、頻寬極高:H100 的 HBM3 約 3.35TB/s,L40S 的 GDDR6 為 864GB/s,差距近四倍。訓練大模型與長上下文推論吃頻寬,這一項常比核心數更關鍵。
NVLink 是什麼?什麼時候一定要有?
NVLink 是 GPU 之間的高速互連,H100 世代達 900GB/s,約為 PCIe Gen5 的七倍。多卡聯合訓練同一個模型(張量平行)時是及格線;彼此獨立的推論工作則可以不用。
FP8 精度有什麼實際用處?
H100 與 L40S 支援 FP8,搭配 Transformer Engine,大型語言模型的訓練與推論吞吐可再提升、記憶體占用約減半;A100 不支援 FP8,這是世代之間的實質差距之一。
H100 和 A100 該選哪一張?
訓練為主、預算允許就選 H100:FP16 算力約三倍(990 對 312 TFLOPS)、支援 FP8、NVLink 900GB/s。已驗證的推論或輕量微調,A100 仍稱職且租金較低,是夠用就好的理性選擇。
L40S 和 A100 怎麼選?
純推論、圖像生成、3D 渲染選 L40S:48GB VRAM、支援 FP8、性價比高。需要 NVLink 多卡協作、HBM 高頻寬或 FP64 科學運算,才需要往 A100 或 H100 走。
驗收 GPU Server 時怎麼確認規格沒被混充?
開機當天用 nvidia-smi 核對 GPU 型號、數量與 VRAM,再跑頻寬與 NCCL 多卡通訊實測,對照合約標示值;把這套驗收程序與數據門檻寫進合約,是最有效的自保方式。
SXM 和 PCIe 版本的 H100 怎麼選?
SXM 版功耗上限 700W、記憶體頻寬較高、支援 NVLink 900GB/s,多卡訓練首選;PCIe 版約 350W、部署容易,適合單卡與推論場景。報價單只寫 H100 三個字,一定要追問版本。
在台灣租得到 H100 的 GPU Server 嗎?
租得到。戰國策等主機商在台北機房提供 H100 單卡到八卡方案,單卡月租約 NT$50,000,最快 2 小時部署、延遲低於 10ms,不必像部分公有雲區域排隊等配額。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。