戰國策集團 | 戰國策網軍行銷有限公司成立於2000年,提供專業網軍行銷、口碑行銷 、社群行銷服務,我們的網軍執行團隊皆來自各大選舉競選團隊隸屬網路部門的頂尖人才,擁有豐富的網路實戰經驗,為企業建立專屬的網軍部隊打贏網路戰,重要的任務使命達成企業在網路的業績、流量、知名度提升及品牌建立目標。 | Page 6
365天全年無休服務專線 0800-003-191
14 7 月 2026

氣象海洋數值模擬的 GPU 加速:研究單位的算力租用指南

💡 快速答案:氣象海洋數值模擬可以用 GPU 加速嗎?

可以,而且已進入實用階段。傳統數值模式方面,ICON 已完成 GPU 移植並用於業務預報,WRF 也有部分模組與第三方 GPU 版本,但動力核心需要 FP64 或混合精度,建議選 H100 這類資料中心級 GPU。另一條路是 GraphCast、Pangu-Weather 等 AI 天氣模型,單卡數十秒到數分鐘即可產出全球預報,比數值模式快數千倍。台灣研究單位若只在颱風季需要大量算力,採月租尖峰擴充,成本通常比自建叢集低三到五成。

颱風還在千里之外的海面上,預報作業已經開跑。氣象與海洋數值模擬是少數「算得慢就等於白算」的科學計算:未來 24 小時的降雨分布,若得花 30 小時才算出來,再精確也沒有決策價值。這種與大氣賽跑的天性,讓氣象海洋運算長年占據各國超級電腦的使用排行榜,也讓愈來愈多研究單位開始盤算:在動輒數千核心的 CPU 叢集之外,GPU 加速與彈性租用,能不能讓有限的計畫經費發揮更大價值?這篇指南從模式移植現況、解析度成本結構、AI 天氣模型的衝擊,一路談到台灣研究單位的實務決策,提供計畫主持人一份可以直接拿來編預算的參考。

一頭吞噬算力的巨獸:氣象海洋模式在算什麼

攤開全球主流模式清單,大氣這一側有學研圈最普及的區域模式 WRF、採用非結構網格的新世代全球模式 MPAS,以及德國氣象局與馬克斯普朗克研究所主導的 ICON;海洋這一側則有區域海洋模式 ROMS、擅長近岸複雜地形的非結構網格模式 FVCOM,以及歐洲全球海洋模擬的主力 NEMO。名字各異,骨子裡做的事情相同:把大氣或海洋切成數以億計的格點,在每個格點上求解流體力學與熱力學方程,一個時間步接著一個時間步向未來推進。

這件事有三個特性註定燒錢:

  • 逐步積分:方程組必須一步一步向前推進,無法跳過中間過程直接得到答案,而預報時效又卡在那裡,業務作業通常要求一輪預報在 1 到 2 小時內算完;
  • 物理參數化:輻射傳送、雲微物理、邊界層亂流、海氣交換等方案,在每個格點、每個時間步重複計算,常占整體計算量的三到五成;
  • 資料同化:把衛星、雷達、浮標與探空觀測融合成最佳初始場,本身就是計算密集的最佳化問題,4DVar 這類變分方法要反覆執行正向與伴隨模式,計算量常是單次預報的好幾倍。

也因此,傳統氣象海洋運算的標準配備是 CPU 叢集加上 MPI 平行化:把地球切成數百到數千塊子區域,分派給對應數量的 CPU 核心,靠高速網路交換邊界資料。這套架構成熟穩定,但採購與維運門檻極高,對非業務單位的研究團隊往往是難以承受之重。對 HPC 叢集架構還不熟的讀者,可以先讀 HPC 高效能運算入門,再回頭看 GPU 在這個領域扮演的角色。

氣象海洋數值模擬的 GPU 加速:研究單位的算力租用指南
▲ GraphCast 單卡數十秒出全球預報;數值模式選 H100 級

數值模式的 GPU 移植:ICON 領跑,WRF 與海洋模式跟進

GPU 進入氣象海洋領域的速度,比深度學習圈慢了將近十年,關鍵不在硬體而在程式碼:這些模式動輒數十萬行 Fortran,承載數十年的科學驗證,重寫的風險與成本都極高。目前進度最快的是 ICON,透過 OpenACC 指示詞完成移植,瑞士的氣象業務單位已在超級電腦中心以 GPU 節點執行每日例行預報,是全球最早把 GPU 用進正式天氣預報作業的團隊之一。WRF 的官方主線仍以 CPU 為主,但雲微物理等計算最重的模組已有 GPU 加速實作,市場上也出現整套移植的第三方 GPU 版本;美國新一代統一預報系統 UFS 同樣把 GPU 納入探索路線。海洋模式腳步稍慢,NEMO 與 ROMS 社群的移植工作都在進行,距離全面業務化還有一段路。

選硬體前有一個關鍵事實必須弄清楚:數值模式的動力核心對浮點精度極其敏感,多數採用 FP64 雙精度或經嚴謹驗證的混合精度,否則長時間積分後捨入誤差會累積放大,輕則預報品質劣化,重則模式直接發散。這決定了選卡邏輯——消費級顯示卡的 FP64 效能被限制在單精度的六十四分之一,RTX 4090 的 FP64 僅約 1.3 TFLOPS;資料中心級的 H100 則有約 34 TFLOPS 的 FP64 算力,動用 Tensor Core 還能再翻倍。跑深度學習租 RTX 很划算,跑數值模式的動力核心,H100、A100 這一級的卡才是正確答案,選型前不妨先比對 GPU 主機的規格與方案。這套「FP64 門檻」的邏輯與結構、流體等工程模擬如出一轍,兩者常可共用同一套租用策略,細節可參考 CAE 工程模擬要什麼 GPU。

另一個常被忽略的現實是通訊。數值模式的平行化建立在相鄰子區域交換邊界資料之上,多卡執行時,卡與卡之間的頻寬與延遲直接決定擴展效率,這正是資料中心級 GPU 主機普遍配備 NVLink 與高速網路的原因。此外,格點資料與物理場動輒占用數十 GB 記憶體,GPU 的 HBM 容量(H100 單卡為 80 GB)決定一張卡塞得下多大的網域;記憶體不夠就得切更多卡,通訊成本又隨之上升,這是規劃多卡配置時必須一起精算的三角習題。混合精度則是另一條省錢路線:把對精度不敏感的部分運算降到 FP32,已有團隊在幾乎不影響預報品質的前提下省下約三成計算時間,但每一步都需要嚴謹的數值驗證,不能貿然全面降精度。

解析度的代價:從 10 公里到 1 公里,漲的不是十倍是千倍

研究者編預算時最常低估的,是解析度對成本的非線性衝擊。把水平解析度提高一倍(格距減半),東西向與南北向格點數各增為兩倍,計算量先乘以四;同時受數值穩定性的 CFL 條件約束,時間步長也必須跟著減半,總計算量因此變成約八倍。照這個規律推算,把區域模式從 10 公里格距推進到 1 公里,水平格點數增加約 100 倍、時間步數再多 10 倍,整體計算量放大約 1,000 倍——這還沒計入高解析度模擬通常需要的更多垂直層數與更精細的物理方案。

更現實的是,實務上很少只跑一次。颱風路徑與定量降雨預報講究不確定性量化,主流做法是集合預報:用擾動過的初始場把同一段預報跑 20 到 50 個成員,成本直接乘上成員數;再加上每個循環都要做資料同化,一輪完整的高解析度預報作業,算力需求可以是單次確定性預報的數十倍。台灣的地形讓這道題更難迴避:中央山脈對降雨的增幅效應,要到 2 到 3 公里以下的格距才捕捉得像樣,想把梅雨鋒面與颱風外圍環流的雨量算準,高解析度幾乎是必選項。這就是為什麼「把格距推進到 1 公里」在計畫書上只是一行字,落到機房裡卻是一整排機櫃。

還有一筆常被漏算的帳:資料量。格距細十倍,單一時間步的輸出就大上百倍,一場 20 個成員、一週長度的高解析度集合實驗,產出數十 TB 資料並不罕見,儲存、搬運與後處理的時間會反過來吃掉研究人力。評估算力方案時,把儲存空間與網路頻寬一併問清楚,和問 GPU 型號一樣重要。

AI 天氣模型:數十秒算完全球十天預報的新物種

2022 年之後,棋局出現戲劇性變化。DeepMind 的 GraphCast 以圖神經網路,在全球 0.25 度解析度上把十天預報的多數指標推到與頂尖數值模式相當;華為的 Pangu-Weather 採用三維 Transformer 架構;NVIDIA 的 FourCastNet 走傅立葉神經算子路線;後續發表的 GenCast 更以擴散模型直接產生機率式的集合預報。它們的共同點是:用數十年的再分析資料在大型 GPU 叢集上完成訓練,之後推論只需一張 GPU、數十秒到數分鐘,就能產出一份全球十天預報,比傳統數值模式快上數千倍,耗電量更是天壤之別。

但快不等於取代。AI 天氣模型目前的定位是與傳統模式互補:初始場仍仰賴傳統資料同化系統提供;0.25 度(約 25 公里)的解析度,對颱風內部結構、台灣地形降雨這類細尺度現象力有未逮;極端事件的強度也常被平滑低估。不過各大氣象中心並未把它當成玩具:歐美業務單位已將 AI 模型納入平行測試,與數值模式一起出圖比對,而它的速度優勢讓集合成員數有機會放大一個量級,對颱風這類高不確定性系統特別有價值。對研究單位的實務意義反而在門檻:訓練要大叢集,微調與推論的硬體需求卻不高,主流模型多已開源釋出權重,一位熟悉深度學習框架的研究生,通常一到兩週就能在單卡環境把推論流程建起來,與自家 WRF 結果互相對照,是投資報酬率極高的研究題目。

比較面向 傳統數值模式(WRF、ICON、NEMO) AI 天氣模型(GraphCast、Pangu-Weather)
運算精度需求 動力核心需 FP64 或混合精度,數值穩定性優先 訓練用 BF16 或 FP16,推論精度要求寬鬆
硬體主力 CPU 叢集加 MPI,正逐步導入 GPU GPU 原生:訓練需叢集,推論單卡可行
產出全球十天預報 數千 CPU 核心跑約 1 到 2 小時 單張 GPU 數十秒到數分鐘
有效解析度 全球約 9 到 25 公里,區域可細至 1 到 3 公里 多為 0.25 度,約 25 公里
成熟度與角色 逾半世紀業務驗證,物理過程可解釋 2022 年後快速演進,目前與數值模式互補

台灣的颱風季難題:一所大學實驗室的算力帳本

對台灣而言,這一切都不抽象。中央氣象署要在颱風逼近時滾動更新路徑與定量降雨預報,水利單位要評估淹水風險,海洋研究與離岸風電團隊盯著風場、波浪與海流,學研單位則承接大量相關計畫。這股需求還在擴大:西部海域的離岸風場一座接一座併網,風能預測直接影響電力調度;航運、海洋工程與海域遊憩安全,也都仰賴波浪與海流的即時預報。對學研團隊而言,承接這些計畫的第一道門檻往往不是方法,而是算力從哪裡來。共同的痛點是需求高度季節性:颱風季約從 7 月延續到 10 月,期間要跑高解析度區域模式加集合預報,算力需求是平時的數倍到十倍;偏偏國內共用的高速計算資源在尖峰期人人搶,排程未必等得到;自建叢集則意味著其餘八個月機器大半閒置,還得以台灣工業電價每度約 NT$3 到 4 元(夏季更貴)的價格,替閒置的機器持續付電費與冷卻費。

以一所國立大學的海洋大氣實驗室為例。團隊在颱風季要以 2 公里格距的 WRF 搭配 ROMS 海流耦合,執行 20 個成員的集合預報,估算需要 8 張 H100 等級 GPU 連續運轉四個月;平時只需 2 張卡做程式開發、個案重跑與研究生訓練。若走自建:一台 8 卡 H100 伺服器含儲存、網路與機房整備約 NT$1,200 萬,以五年攤提每年 240 萬,加上滿載近 10 kW 的電費與冷卻年估 20 到 30 萬,再算入兼任的管理人力,年化成本逼近 300 萬;而且資本門採購要走招標、議價與財產列管,從經費核定到設備上線往往超過半年,趕不上下一個颱風季。

改採租用的算盤是:颱風季四個月租 8 張 H100 等級 GPU,其餘月份僅保留 2 張 RTX 等級卡供開發,全年支出估約 NT$150 到 200 萬,較自建的年化成本省下三到五成;經費走業務費科目,核銷單純,季末退租後不必替閒置機器付一毛電費。更關鍵的是彈性:若某一年颱風特別活躍,臨時追加 2 張卡是幾天內能解決的事,而不是下一個年度預算週期的事。這種「平時精簡、尖峰擴充」的節奏,正是租用模式相對自建最大的結構性優勢。

氣象海洋數值模擬的 GPU 加速:研究單位的算力租用指南
▲ 研究單位的算力租用路線

找台灣在地的 GPU 主機夥伴

氣象海洋運算的專案節奏天生適合彈性租用,前提是供應商要能在你需要時立刻調度出卡,機房又離資料與團隊夠近。戰國策 GPU 主機提供 NVIDIA H100 與 RTX 系列多種規格,主機放在台灣機房,資料不出境、延遲低,月租 NT$15,000 元起,並提供 7×24 中文技術支援,颱風季前擴充、季後縮編都能快速完成。研究團隊可以先從單卡開始,驗證模式移植與 AI 天氣模型推論,再逐步擴大到多卡集合預報。詳情請見官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud,或加 LINE 帳號 @119m 諮詢,免費專線 0800-003-191。

常見問題 FAQ

氣象海洋數值模式一定要用 FP64 雙精度嗎?

動力核心大多需要 FP64 或經嚴謹驗證的混合精度,因為長時間積分會累積捨入誤差,嚴重時模式會直接發散。這代表選卡要先看 FP64 算力:H100 約 34 TFLOPS,消費級 RTX 4090 僅約 1.3 TFLOPS,相差超過 20 倍,跑動力核心應優先選擇資料中心級 GPU,消費卡則留給後處理與 AI 實驗。

WRF 現在可以直接用 GPU 跑嗎?

官方主線版本仍以 CPU 叢集加 MPI 為主,但雲微物理等計算密集模組已有 GPU 加速實作,市面上也有整套移植的第三方 GPU 版本。建議先租 1 到 2 張卡,用自己的網域設定實際測試加速比與相容性,一般 2 到 4 週可完成初步評估,再決定是否把整條作業流程搬上 GPU。

解析度從 10 公里提高到 1 公里,算力需求會增加多少?

粗估約 1,000 倍。水平格距縮小 10 倍,格點數增加約 100 倍;受 CFL 數值穩定性條件限制,時間步長也要縮短約 10 倍,兩者相乘就是千倍等級,而且還沒計入更多垂直層數與更精細物理方案的額外開銷。這是高解析度模擬幾乎都得仰賴大規模平行運算或多卡 GPU 的根本原因。

AI 天氣模型會取代傳統數值天氣預報嗎?

短期內是互補而非取代。GraphCast、Pangu-Weather 等模型推論只需數十秒到數分鐘,比數值模式快數千倍,但解析度多停留在 0.25 度(約 25 公里),初始場仍依賴傳統資料同化,颱風強度等極端值也常被低估。目前主要氣象中心的做法是兩者並行,互相校驗與補位。

跑 GraphCast 或 Pangu-Weather 推論需要什麼等級的 GPU?

門檻比想像低,一張 24 GB 以上記憶體的高階 GPU 通常就能執行全球推論,數十秒到數分鐘產出十天預報;需要微調或重新訓練時才用得到多卡叢集。研究單位可以先租 1 張卡把流程跑通,每月成本數萬元以內,相較於架設傳統數值模式所需的叢集,是非常低的入門投資。

研究單位租 GPU 跑氣象海洋運算,每月費用大概多少?

依卡種與規模而定:RTX 系列單卡月租約 NT$15,000 起,適合模式開發、後處理與 AI 模型推論;H100 等級單卡每月數萬元起。以颱風季租 8 張高階卡連跑 4 個月的集合預報估算,總預算約百餘萬元,通常比自建同級叢集的年化成本低三到五成,且不必負擔電費與維運。

集合預報為什麼特別花錢?有沒有省錢的做法?

因為要用擾動過的初始場把同一段預報重複跑 20 到 50 個成員,成本直接乘上成員數。務實的省錢做法包括:平時只維持小規模開發環境、尖峰期再擴充租卡;先用較粗解析度篩選重點情境;或用 AI 天氣模型快速產生大量集合成員,再用數值模式細算關鍵個案,整體可省下五成以上算力。

資料同化為什麼這麼吃算力?

資料同化要把衛星、雷達、浮標等海量觀測與模式背景場融合成最佳初始條件,本質是大型最佳化問題。4DVar 需在同化窗內反覆執行正向與伴隨模式,計算量常達單次預報的 3 到 10 倍;集合式方法則要同時維護數十個成員。不少業務單位花在同化的算力,比預報本身還多。

研究單位該自建 GPU 叢集還是租用?

關鍵看使用率與經費科目。若全年平均使用率能穩定超過六到七成,自建的長期單位成本較低;若像颱風季那樣一年只有 3 到 4 個月尖峰,租用通常省三到五成,還能走業務費核銷,避開資本門招標與財產列管流程,對執行期 1 到 3 年的計畫特別有利,設備汰舊風險也由供應商承擔。

ROMS、NEMO 這類海洋模式也能用 GPU 加速嗎?

海洋模式的 GPU 移植進度比大氣慢,NEMO 與 ROMS 社群的移植工作持續進行,部分模組已能受益,但尚未全面業務化。務實做法是既有海流、波浪流程續留 CPU,先把 GPU 用於後處理、資料同化實驗與 AI 代理模型;租 1 到 2 張卡、花 1 個月做小規模概念驗證,就能評估值不值得深入。

Share this
14 7 月 2026

生命科學遇上 GPU:藥物研發、基因定序的算力革命與建置成本

💡 快速答案:生命科學運算需要什麼樣的 GPU,自己買還是用租的比較好?

生命科學運算不必一味追求最貴的雙精度卡,而是看應用挑規格:分子動力學用 FP32,一張現代 GPU 就能抵多顆 CPU;AlphaFold 與冷凍電鏡吃 VRAM,大型任務可能要 40GB 到 80GB;基因定序用 Parabricks 可把 30x 全基因組從數十小時壓到約一小時。對多數台灣生技新創,建議先月租多卡 GPU 主機驗證需求,等用量穩定再評估自購 8 卡伺服器與機房,較能控管前期數百萬的資金風險。

生命科學為什麼突然變得這麼吃算力

十多年前,一位藥物化學家想知道某個候選分子會不會剛好卡進標靶蛋白的口袋裡,靠的多半是經驗、直覺,加上一輪又一輪耗時又昂貴的濕實驗。今天,他可以先在電腦裡把幾百萬個化合物一次篩過,把最有希望的幾十個再送進實驗室驗證。這個轉變的背後,是一場由 GPU 帶動的算力革命。生命科學運算之所以在這幾年爆炸性成長,道理其實很單純:生物分子的世界又大又亂,分子多、自由度高、交互作用複雜,只有夠強的平行運算,才追得上這種複雜度。

從藥物研發、蛋白質結構預測,到冷凍電鏡三維重建與基因定序,幾乎每一個關鍵環節都吃重運算。過去這些工作綁在傳統 CPU 叢集上,一跑就是好幾天甚至一整週;現在換上 GPU,同樣的任務可能幾小時就收工。對一家要跟時間賽跑的生技公司來說,算力不再只是後勤成本,而是直接決定研發節奏與競爭力的核心資產。把每一種應用真正需要什麼樣的硬體理解清楚,才能把每一分預算都花在刀口上。

生命科學遇上 GPU:藥物研發、基因定序的算力革命與建置成本
▲ Parabricks 基因定序加速,數十小時壓縮到約 1 小時

分子動力學與虛擬篩選:藥物研發的算力引擎

談藥物研發的運算,分子動力學(MD)幾乎是繞不開的核心。它模擬蛋白質、藥物分子與周圍水分子在時間裡怎麼互相拉扯、擺動與結合,把一張靜態的結構圖,變成一段可以反覆觀察的動態影片。這種模擬必須一步一步往前推進,每一個時間步都要重新計算成千上萬個原子之間的作用力,累積下來的計算量非常驚人,也正是傳統上讓研究者卡關的地方。

好消息是,主流的 MD 軟體對 GPU 都有相當成熟的支援。GROMACS、AMBER、NAMD 這三套業界最常用的引擎,都內建了高度優化的 GPU 加速路徑,一張現代 GPU 的模擬效能,往往可以抵過好幾顆高階 CPU。更關鍵的是精度需求:分子動力學大多採用 FP32 單精度或混合精度就足夠,對 FP64 雙精度的依賴,遠不如傳統物理、氣象那類 HPC 那麼吃重。這代表你不必去追那些雙精度規格特別昂貴的頂級運算卡,許多專業級甚至高階消費級顯卡,就能把 MD 跑得又快又順,把預算留給更需要的地方。

另一個吃算力的環節是虛擬篩選,也就是分子對接(molecular docking)。當你手上有一個標靶蛋白,想從幾百萬個化合物庫裡挑出可能有活性的候選,分子對接會把每一個化合物逐一嘗試塞進蛋白的結合口袋,評估它們貼合得好不好、抓得牢不牢。這種工作天生就適合大規模平行:每個化合物彼此獨立,可以同時分派給上萬個運算核心一起處理,GPU 在這裡帶來的加速非常顯著,能把原本要跑好幾週的百萬級篩選,壓縮到幾天甚至更短,讓團隊更快鎖定值得進實驗室的少數候選。

值得一提的是,這些工具在真實專案裡很少單打獨鬥,而是串成一條研發流水線:先用虛擬篩選從龐大化合物庫做粗篩,再用分子動力學細看結合的穩定度,同時用 AlphaFold 補上還沒被解出的蛋白結構。每一站都吃 GPU,彼此之間又要交換大量中間資料,因此除了單卡效能,整體的記憶體容量、多卡頻寬與儲存吞吐量,都會實際影響一條流水線從頭跑到尾的總時間。

冷凍電鏡與蛋白質結構預測:看見分子真正的形狀

想設計一顆能精準命中標靶的藥,前提是你得先知道標靶到底長什麼樣子。這幾年有兩項技術,徹底改變了我們看見分子形狀的方式,而它們都極度依賴 GPU 的算力。

第一項是冷凍電鏡(cryo-EM)。它把樣品急速冷凍,用電子顯微鏡拍下成千上萬張雜訊很高的二維投影照片,再靠軟體從這堆照片反推出分子的三維結構。這個三維重建的過程運算量龐大,RELION 與 cryoSPARC 這兩套主流軟體,都以 GPU 大幅縮短重建時間,把原本動輒好幾天的運算壓到數小時等級。它的硬體特點很鮮明:既要夠大的 VRAM 才裝得下龐大的顆粒資料,也要搭配高速儲存持續餵飽 GPU,否則硬碟的讀寫速度,反而會成為整條流程的瓶頸。

第二項是蛋白質結構預測。以 AlphaFold2 與 AlphaFold3 為代表的深度學習模型,能直接從一段胺基酸序列,推論出蛋白質最可能的立體結構,準確度之高,一度震撼整個結構生物學界,也大幅省下傳統實驗解構所需的漫長工時。這類工作是典型的 GPU 深度學習推論,非常吃 VRAM:預測單一中小型蛋白也許還算輕鬆,可是一旦要處理大型複合體或超長序列,顯存需求可能一路衝上 40GB 甚至 80GB,這也是為什麼大顯存的專業級 GPU 在這個領域格外搶手。想更完整了解這類深度學習與 AI 研究的算力需求,可以參考我們寫的大專院校 AI 研究算力一文。

基因定序次級分析:從數十小時壓縮到一小時

如果說前面幾項偏向研發端的重運算,基因定序分析就是精準醫療與定序服務的日常戰場。定序儀吐出海量的短序列之後,要先把它們一一比對回參考基因組,再從中找出變異位點,這個所謂的次級分析,長年是整條流程裡最耗時、最容易塞車的關卡。

過去在純 CPU 環境下,一個 30x 覆蓋率的全基因組(WGS)樣本,光是序列比對加上變異偵測,常常要花上數十小時。NVIDIA Parabricks 把這套業界標準流程搬上 GPU 之後,情況完全改觀:同樣一個 30x 全基因組,依投入的 GPU 數量多寡,可以把整段分析壓縮到大約一小時上下完成。對一家每天都要處理大量檢體的定序服務公司來說,這種數量級的加速,直接決定了它能不能準時交件、能同時接下多少訂單。

為了讓不同應用的算力輪廓一目了然,下面這張表把幾種主要的生命科學運算放在一起對照:

應用類型 代表軟體 精度需求 建議 VRAM 相對加速幅度
分子動力學 MD GROMACS、AMBER、NAMD FP32 或混合精度為主 16GB 以上 單卡可抵多顆 CPU
虛擬篩選 Docking 各式分子對接工具 FP32 即可 16GB 以上 百萬化合物大規模平行
冷凍電鏡重建 RELION、cryoSPARC FP32 或混合精度 24GB 以上,越大越好 數天縮短到數小時
蛋白質結構預測 AlphaFold2 與 3 混合精度推論 40GB 到 80GB(大型複合體) 取代數週實驗工時
基因定序次級分析 NVIDIA Parabricks 混合精度 16GB 以上,多卡更佳 數十小時壓到約一小時

從這張表可以讀出一個重要訊息:生命科學運算並不是一味追求最貴、雙精度最強的卡,而是要看應用來挑規格。VRAM 大小、多卡協同能力與儲存速度,往往比單純的浮點峰值更能決定實際的體感效能。想更完整理解 GPU 與 HPC 的整體架構與選型邏輯,建議搭配HPC 高效能運算入門一起閱讀,會更有全貌。

自購 8 卡伺服器還是先租用:一家生技新創的抉擇

講了這麼多技術,回到最實際的問題:這些算力,到底該自己買,還是用租的?我們用一個貼近真實的例子來看。

假設有一家位在新竹的生技新創,團隊大約十來人,手上握有一個很有潛力的標靶,想同時做兩件事:一是對一批數百萬等級的化合物做虛擬篩選,二是用 AlphaFold 大量預測候選蛋白與複合體的結構。技術長算了一輪帳,如果要自購一台 8 卡的大顯存 GPU 伺服器,加上機櫃、不斷電系統、網路與散熱,前期硬體投資動輒好幾百萬新台幣,而且這還不包含後續每個月的電費與維運人力。

更棘手的是時程。自建一整套環境,從採購、進機房、佈線到把整個軟體堆疊調校跑通,往往要好幾週甚至一兩個月;而這家新創此刻其實只是想先驗證一個假設:這個標靶到底值不值得繼續投錢下去。為了一次還沒被證實的探索,就先押下數百萬的固定資產,對現金流本來就吃緊的新創來說,風險實在太高。

把兩條路擺在一起比,差異就很清楚。自購 8 卡伺服器,前期硬體大約要數百萬新台幣的資本支出,還得等上一兩個月才能真正上線,之後每個月都要固定扛電費與維運;而租用多卡 GPU 主機,等於把資本支出換成每月固定的營運費用,幾天內就能開跑,先花兩三個月把這一輪篩選與結構預測做完,總花費可能只是自購金額的一小部分。對一個還在找方向的專案,把大筆資本支出往後延、改成靈活的月租,現金流壓力立刻小了一大截。

於是他們決定先租用 GPU 主機來跑這一輪關鍵驗證。用月租的方式取得多卡算力,幾天內就能開始篩選與結構預測,把寶貴的現金留在真正的研發與人才上。等到某個候選分子確實有戲、運算需求也穩定成長之後,再回頭認真評估自建機房,才是比較務實的順序。這也是不少台灣生技團隊實際走過、也走得通的一條路。

建置成本、機房與電費:台灣在地的現實考量

台灣這幾年的生技與精準醫療,成長得相當快。新藥開發、委託研究(CRO)、精準醫療與各式基因定序服務蓬勃發展,對高效能運算的胃口也跟著水漲船高。但要把一台多卡 GPU 伺服器真正養在自家機房裡,門檻其實遠比想像中高,背後藏著好幾筆容易被低估的帳。

先看電。一台 8 卡的高階 GPU 伺服器,滿載功耗可以輕鬆來到數千瓦,再加上為它散熱的空調,長時間運轉累積的電費相當可觀。台灣的工業用電,一度電大約落在新台幣三到四元的區間,夏季電價還會再往上加一些。若機器幾乎全年無休地跑,單是電費一年就是一筆不小的固定開銷,而這都還沒算進機房空間的租金、空調設備與人力成本。把這些通通加總,一台自建伺服器三、五年下來的總持有成本,常常遠高於當初帳面上的硬體採購價。

再看維運。GPU 伺服器不是買回來插上電就一勞永逸,它需要穩定的散熱、可靠的不斷電系統、妥善規劃的網路,以及有人能在硬體故障、驅動程式出包的第一時間即時處理。對一家核心競爭力在生物與醫學、而不在機房管理的公司來說,把這些雜事外包給專業夥伴,常常比自己硬扛更划算,也更安心。這正是為什麼越來越多台灣的生技新創與學研團隊,會選擇先用租用的方式取得算力,把假設驗證完、把商業模式跑順,再決定要不要走上自建這條路。

生命科學遇上 GPU:藥物研發、基因定序的算力革命與建置成本
▲ 生技算力的三個判斷點

找台灣在地的 GPU 主機夥伴

如果你正在為藥物研發、基因定序或蛋白質結構預測,尋找一台跑得動、又不必自己扛機房的算力平台,戰國策集團的 GPU 主機服務很值得列入評估。我們提供 NVIDIA H100 與 RTX 系列等級的 GPU 主機,機器就放在台灣在地機房,低延遲又符合研究資料落地的需求;月租 NT$15,000 元起,再搭配 7×24 全年無休的中文技術支援,讓你的團隊可以專心在科學本身,把惱人的維運雜事交給我們。

想了解方案細節,或討論你手上的運算需求,歡迎造訪官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud,或透過 LINE 官方帳號 @119m 與我們聯繫,也可以直接撥打免費專線 0800-003-191,由專人為你規劃最適合的生命科學運算配置。

常見問題 FAQ

跑分子動力學一定要買雙精度很強的專業運算卡嗎?

不一定。GROMACS、AMBER、NAMD 這類主流 MD 軟體大多用 FP32 單精度或混合精度就足夠,對 FP64 雙精度的依賴遠低於傳統物理 HPC。因此一張 16GB 以上的高階顯卡,往往就能把模擬跑得很順,不必為了雙精度規格多花好幾倍的錢,建議依實際軟體與系統大小來挑卡。

跑 AlphaFold 到底需要多大的 VRAM?

要看你預測的分子多大。單一中小型蛋白,十幾 GB 的顯存通常就能應付;但一旦要處理大型複合體或很長的序列,VRAM 需求可能一路攀升到 40GB 甚至 80GB。這也是為什麼這個領域特別偏好大顯存的專業級 GPU,建議先評估你最大的預測目標,再回頭決定顯卡規格與張數。

用 GPU 跑基因定序的次級分析,能快多少?

差距非常大。一個 30x 覆蓋率的全基因組樣本,在純 CPU 環境下比對加變異偵測常要數十小時;改用 NVIDIA Parabricks 在 GPU 上跑,依 GPU 數量多寡,可以把整段分析壓到大約一小時上下。對每天要處理大量檢體的定序服務公司來說,這是能不能準時交件的關鍵。

冷凍電鏡三維重建對硬體最在意什麼?

主要是三件事:GPU、VRAM 與儲存速度。RELION 與 cryoSPARC 都靠 GPU 大幅縮短三維重建時間,把數天的運算壓到數小時;但你同時需要 24GB 以上的較大顯存來裝下資料,也要夠快的儲存餵飽 GPU,否則硬碟讀寫會變成整條流程的瓶頸,拖慢整體效率。

虛擬篩選幾百萬個化合物,用 GPU 真的划算嗎?

相當划算。分子對接時每個化合物彼此獨立,天生適合大規模平行,正好對上單張 GPU 上萬個運算核心的強項。原本在 CPU 上要跑好幾週的數百萬級篩選,搬到 GPU 常能縮短到 2 到 3 天甚至更短,幫研發團隊更快從龐大化合物庫中鎖定最有希望的候選分子。

我是小型生技新創,該自購伺服器還是先租用?

多數情況建議先租用。自購一台 8 卡 GPU 伺服器,前期硬體加機房投資動輒數百萬新台幣,還要好幾週才能建置完成;若只是想驗證一個標靶值不值得投入,用月租的方式幾天內就能開跑,風險小很多。等需求穩定成長,再評估自建也不遲。

一台 8 卡 GPU 伺服器的電費大概多少?

相當可觀。8 卡高階 GPU 伺服器滿載功耗可達數千瓦,加上散熱空調會更高。台灣工業電價一度約新台幣三到四元、夏季更貴,若幾乎全年無休運轉,單是電費一年就是一筆可觀開銷,這還沒算進機房空間與人力,是自建前必須算清楚的一筆帳。

生命科學運算選 GPU,最該看哪些規格?

別只盯著浮點峰值。對多數生命科學應用,VRAM 大小、多卡協同能力與儲存速度,往往比單純的算力數字更能決定實際體感。例如 AlphaFold 跑大型複合體可能吃到 80GB 顯存、冷凍電鏡吃儲存、MD 吃單卡效能,建議依你最主要的應用類型挑卡,而不是一味追最貴的那一張。

租用的 GPU 主機,把研究資料放在台灣安全嗎?

選在地機房就能兼顧。像戰國策的 GPU 主機就放在台灣在地機房,資料落在境內、延遲也低,對重視個資與研究資料落地的生技與醫療團隊特別重要。再搭配 7×24 中文技術支援,硬體或環境出狀況時能即時處理,比自己顧機房省心不少。

從零開始導入 GPU 運算,大概多久能開始跑?

要看你走哪條路。自建機房從採購、進機房到軟體調校跑通,常要好幾週甚至 1 到 2 個月;若改用租用的 GPU 主機,環境通常已經備妥,最快 3 到 5 天內就能開始跑虛擬篩選或結構預測,把時間留給真正的科學驗證,對趕進度的研發團隊差別很大。

Share this
14 7 月 2026

HPC 高效能運算是什麼?從科學研究到工程模擬的 GPU 加速入門

💡 快速答案:HPC 高效能運算是什麼?和一般電腦運算有什麼不同?

HPC 高效能運算是用超級電腦或運算叢集,把單一大問題拆成大量小塊,交給成千上萬個處理器核心同時計算的技術,效能以 FLOPS(每秒浮點運算次數)衡量:一般桌機約數 TFLOPS,頂級超級電腦已達每秒 10 的 18 次方次的 ExaFLOPS 等級。它適合氣象模擬、分子動力學、CAE 工程模擬與 AI 訓練等可平行化的題目,常見作法是用 GPU 叢集搭配 InfiniBand 高速互連,把數週的運算壓縮到數天甚至數小時。

想像一個場景:一位氣象研究員要模擬颱風登陸前七十二小時的路徑,網格細到一公里一格,變數涵蓋風速、氣壓、濕度與海溫。這種題目丟給再頂級的個人電腦,等算出結果,颱風早就離境了。HPC 高效能運算(High-Performance Computing)要解的,正是這種「單機一輩子也算不完」的問題:把大問題拆成成千上萬個小塊,交給超級電腦或運算叢集裡的大量處理器同時計算,讓以月計的等待縮短成以天、以小時計。這篇文章用研究人員與 IT 決策者都能消化的語言,講清楚 HPC 的核心概念、GPU 加速的原理、叢集互連與精度的門道,並回到台灣的學研現場:當國網中心的資源排不上隊,你還有哪些務實的選擇。

HPC 高效能運算是什麼?千人搬磚的藝術

HPC 高效能運算的本質,講白了就是「平行化」三個字。一道題目如果只能一步接著一步算,處理器再快都有物理極限;但多數科學與工程問題其實拆得開——大氣可以切成上百萬個網格、分子系統可以拆成數億個粒子、一批影像可以分給不同核心各自處理——拆開之後,就能讓幾千、幾萬個運算核心各自認領一小塊,同時開工。超級電腦並不是一顆神奇的巨無霸 CPU,而是成百上千台「節點」組成的叢集:每個節點有自己的處理器與記憶體,靠高速網路彼此交換資料,像一支分工精密的工程部隊。之所以走向這條路,是因為過去二十年單核心時脈成長趨緩、散熱撞上物理牆,整個產業只好轉向多核心與平行化,而 HPC 正是這條路線的極致展現。

用搬磚來比喻:要搬走一座磚山,一個工人得搬上一年,一千個工人理論上幾天內完工——前提是磚可以分裝、工人不必一直停下來開會對進度。HPC 的學問幾乎都圍繞這兩件事:怎麼把題目拆得漂亮(演算法與平行化),以及怎麼讓工人之間的溝通夠快(互連與同步)。典型應用包括氣候與氣象模擬、分子動力學與藥物開發、結構與流體等 CAE 工程模擬、金融風險運算,以及近年最熱的 AI 模型訓練。如果你的題目屬於工程模擬這一支,建議搭配閱讀同系列的CAE 工程模擬 GPU 選擇指南,那一篇對求解器與顯卡的對應關係有更細的拆解。

HPC 高效能運算是什麼?從科學研究到工程模擬的 GPU 加速入門
▲ 把單一大問題拆成千萬小塊,交給上萬核心同時計算

效能怎麼量?從 TFLOPS 到 ExaFLOPS 的量級之旅

HPC 世界衡量效能的標準單位是 FLOPS,也就是每秒浮點運算次數,一次浮點運算大致等於一次帶小數點的乘法或加法。你桌上那台工作站,CPU 加一張中高階顯示卡,大約落在數 TFLOPS 的量級,即每秒數兆次;而目前全球排名最前面的超級電腦,已經跨過 ExaFLOPS 門檻,也就是每秒 10 的 18 次方次浮點運算,是桌機的數十萬倍以上。數字大到失去直覺時,不妨換算成人力:讓全台灣兩千三百萬人每人每秒做一次乘法、不眠不休,得算超過一千年,才抵得上 ExaFLOPS 等級機器一秒鐘的工作量。

下表整理常見的效能量級,方便你看規格表時快速對位:

單位 每秒運算次數 常見載體 直觀感受
GFLOPS 10 的 9 次方 手機、嵌入式裝置 應付日常影音與輕量運算
TFLOPS 10 的 12 次方 桌上型電腦、單張消費級 GPU 個人研究與開發的主力區間
PFLOPS 10 的 15 次方 企業級 GPU 叢集、國家級超算 數百到數千張 GPU 協同作戰
EFLOPS 10 的 18 次方 全球前幾名的超級電腦 全人類手算上千年的一秒工作量

一個重要提醒:同一台機器用不同精度測出來的 FLOPS 可以差好幾倍,規格表上的漂亮數字,得先確認標的是 FP64 還是 FP16,這個門道我們後面細講。

GPU 為什麼快?數千核心的資料平行

早年的超級電腦靠 CPU 堆疊,現代 HPC 的加速主角則是 GPU,兩者的設計哲學南轅北轍。CPU 是「少量而聰明的核心」:數十個核心,每個都擅長複雜邏輯、分支預測與亂序執行,像一群資深工程師,什麼疑難雜症都能處理。GPU 則是「海量而單純的核心」:一張現代 NVIDIA 資料中心級 GPU 上有數千到上萬個 CUDA 核心,採用 SIMT(單指令多執行緒)的資料平行架構——同一道指令,同一個節拍,套用在成千上萬筆不同的資料上,像一支口令一致的千人儀隊。

這種架構天生適合「規則而大量」的運算:AI 訓練的核心是矩陣乘法,結構與流體模擬的骨架是網格,分子動力學處理的是數億個粒子。這些題目的共同點,是每筆資料要做的事幾乎相同、彼此依賴不深,正好整批餵進 GPU 的數千個核心。此外,資料中心級 GPU 還搭載 HBM 高頻寬記憶體,餵資料的速度是一般伺服器記憶體的數倍,對頻寬飢渴的模擬題目尤其關鍵。反過來說,充滿條件分支、資料彼此糾纏的循序程式,GPU 就幫不上忙。一條實用的經驗法則:能改寫成大矩陣、大網格、大批粒子的題目,GPU 加速常見 5 到 50 倍;拆不開的循序邏輯,乖乖留給 CPU 處理。

一張卡不夠用,幾百張卡怎麼串?

當單卡的記憶體或算力不夠,就得多卡、多節點,這時瓶頸會從「算」轉移到「傳」。節點內部,多張 GPU 之間靠 NVLink 高速直連,或用 NVSwitch 把八張卡織成全互連網路,頻寬遠高於傳統 PCIe,GPU 彼此交換資料不必繞道 CPU。節點與節點之間,主流互連是 InfiniBand:頻寬可達數百 Gb/s、延遲低到微秒等級,還支援遠端直接記憶體存取(RDMA),資料可以不驚動對方的 CPU,直接寫進對方的記憶體。

互連為什麼是命脈?因為平行運算免不了「開會」。氣象模擬裡,每個節點負責一塊天空,但每個時間步都要和鄰居交換邊界資料;AI 分散式訓練裡,每一步所有 GPU 都要同步梯度。溝通一慢,幾百張卡就集體罰站等資料。同一批 GPU,用一般乙太網路串接與用 InfiniBand 串接,實測擴展效率可能差出三成以上——這也是入門團隊最常低估的一筆預算。

精度分工與加卡的極限:認識 Amdahl 定律

浮點數有不同的精度等級。FP64(雙精度)用 64 位元表示一個數,是科學計算的黃金標準:結構分析、氣候模擬、計算化學這類題目,誤差會隨時間步不斷累積,必須靠 FP64 保住數值穩定。AI 訓練則發現神經網路對精度寬容得多,於是 FP16、BF16、TF32 乃至 FP8 陸續登場:位元數砍半再砍半,同一張卡的吞吐量翻倍再翻倍。同一張 H100,FP64 與 FP8 的帳面效能可以差出數十倍——選卡之前,先弄清楚自己的軟體吃哪種精度,方向錯了,預算就白花了。

軟體端的地圖也不複雜:直接駕馭 GPU 的主流語言是 NVIDIA 的 CUDA;不想大改程式,可以用 OpenACC 或 OpenMP 以編譯器指示詞標註平行區段;跨節點的訊息傳遞則交給 MPI,這是超算世界三十多年來的通用語。多數真實專案採混搭策略:節點內用 CUDA 榨效能,跨節點用 MPI 做協調。

接著要潑一盆重要的冷水:加卡不等於等比例變快。衡量擴展性有兩把尺,strong scaling 問「題目固定,處理器加倍,時間能不能砍半」;weak scaling 問「題目與處理器一起加倍,時間能不能維持不變」。現實中兩者都會撞牆,元凶是節點間的通訊開銷,以及著名的 Amdahl 定律:只要程式有 5% 無法平行化,理論加速上限就是 20 倍,卡堆得再多也突破不了。換句話說,即使一口氣租下 100 張卡,這支程式實際只能加速約 17 倍,多付的租金等於直接蒸發。老練的團隊在擴充前,一定先做小規模的擴展測試,找出自己程式的甜蜜點,而不是直接下單一整櫃設備。

下表把 CPU 叢集與 GPU 叢集的分工整理成速查表:

面向 CPU 叢集 GPU 叢集
單節點核心數 數十到上百個複雜核心 數千到上萬個精簡核心
擅長任務 分支邏輯、前後處理、循序流程 矩陣、網格、粒子等規則大量運算
精度取向 FP64 為主 FP64 到 FP8 全譜,依卡型而異
互連重點 節點間 InfiniBand 節點內 NVLink 或 NVSwitch,節點間 InfiniBand
適用情境 網格生成、工作排程、部分隱式求解器 AI 訓練、分子動力學、顯式模擬

台灣的學研現場:台灣杉、排隊,以及租用這條路

回到台灣。學研圈最主要的公共算力,來自國家高速網路與計算中心(國網中心 NCHC)的「台灣杉」系列超級電腦:台灣杉一號以 CPU 為主力,服務傳統 HPC 工作;台灣杉二號以 GPU 為主,撐起島內大量 AI 研究。具學研身分即可申請計算資源,費率遠低於商業雲端,是台灣研究者最重要的靠山。但公共資源沒有不排隊的:申請要提計畫、額度有上限,尖峰期(學期末、大型計畫結案前)一個工作在佇列裡等上數小時到數天並不罕見。對「模型下週要交、實驗每天要跑」的團隊來說,排隊本身就是最貴的成本。何況多數實驗室的經費結構,一年能動用的設備費常在百萬元上下,想自購一台八卡 H100 伺服器——含主機、機櫃、電力與冷卻,總建置成本輕易突破千萬元——並不現實。自建還有一筆常被低估的帳:八卡伺服器滿載功耗可達 10 kW 上下,以台灣工業電價每度約 NT$3 到 4 元、夏季更貴來估,光電費一年就數十萬元起跳,尚未計入冷卻與值班人力。

看一個有真實感的案例。南部某大學的計算化學實驗室,長期用系上共用的 CPU 叢集(約 200 個核心)跑分子動力學:一個 500 萬原子的系統,一條軌跡要跑整整七天;改投台灣杉,尖峰期光排隊就等了兩天多。後來團隊把軟體換成支援 GPU 的版本,向業者短租 4 張 H100:同樣的軌跡,一天出頭就跑完,速度接近原本的七倍。成本怎麼算?以每卡月租約 NT$50,000 到 60,000 元的行情,4 張卡一個月約 NT$200,000 到 240,000 元;團隊只在論文衝刺期租三個月,總支出約 NT$600,000 到 720,000 元,不到自建同級主機的十分之一,還省下機房、電費與三年後的折舊煩惱。環境搬遷也只花了兩天:主流分子動力學套件的 GPU 版本已相當成熟,轉換成本比多數人想像中低。指導教授事後的評語很實在:用租的,研究生的畢業時程第一次掌握在自己手上。

簡單的決策準則:偶爾要跑超大規模、時程可以等,申請國網中心最省錢;需求長期穩定、自有機房與維運人力,自購划算;需求波動大、時程緊、不想養機房,租用最有彈性。市面上像戰國策的 GPU 主機租用方案,就是為第三種情境設計的。若你的主場在校園,同系列的大專院校 AI 研究算力指南整理了學研額度申請與租用備援的完整策略,值得搭配服用。

HPC 高效能運算是什麼?從科學研究到工程模擬的 GPU 加速入門
▲ HPC 高效能運算三個重點

找台灣在地的 GPU 主機夥伴

如果評估後你屬於「租用最划算」的那一群——需求會波動、不想自建機房、希望出問題時能用中文即時溝通——戰國策集團的 GPU 主機值得放進候選清單。卡型涵蓋 NVIDIA H100 與 RTX 系列,可依 FP64 科學計算或混合精度 AI 訓練的需求挑選;主機放在台灣機房,延遲低、資料不出境;月租 NT$15,000 元起,可隨專案彈性升降配置;搭配 7×24 中文技術支援,從驅動安裝、框架建置到多卡效能調校都有工程師接手。對照國網中心的排隊時間與上千萬元的自建門檻,先租後買、小步快跑,往往是研究團隊與企業 IT 最穩健的起手式。詳細方案請見官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud,或加入 LINE 官方帳號 @119m,也可撥打免費專線 0800-003-191,由顧問依你的工作負載,規劃最合適的機型與配置。

常見問題 FAQ

HPC 高效能運算和一般伺服器運算有什麼不同?

核心差異在平行的規模與目的。一般伺服器服務網站、資料庫等大量彼此獨立的小請求,重點是同時服務更多使用者;HPC 則是把單一個大題目拆給成百上千個核心同時計算,重點是把一件事算得更快。例如氣象模擬可拆到 1 萬個以上的核心,靠 200 Gb/s 以上的低延遲網路交換資料,把數週的運算壓進數小時完成。

FLOPS 是什麼?TFLOPS 和 PFLOPS 差多少?

FLOPS 是每秒浮點運算次數,是衡量超級電腦與 GPU 效能的標準單位。1 TFLOPS 代表每秒 10 的 12 次方次浮點運算,1 PFLOPS 是 10 的 15 次方次,兩者相差 1,000 倍;頂級超級電腦已達 ExaFLOPS,即每秒 10 的 18 次方次。一般桌機約數 TFLOPS,超算一秒鐘的工作量,桌機得不眠不休算上十天以上。

為什麼 GPU 特別適合科學計算與 AI 訓練?

因為 GPU 有數千個 CUDA 核心,採 SIMT 資料平行架構,同一道指令可同時處理上萬筆資料,天生適合矩陣、網格、粒子這類規則且大量的運算。以矩陣乘法為主的 AI 訓練或分子動力學,GPU 常比純 CPU 快 5 到 50 倍;但邏輯分支多、難以拆解的循序程式,GPU 反而幫不上忙,仍應留在 CPU 上執行。

InfiniBand 和一般乙太網路差在哪?小型叢集需要嗎?

InfiniBand 頻寬可達 200 至 400 Gb/s、延遲低到微秒等級,並支援 RDMA,讓資料不經對方 CPU 直接寫入記憶體。單節點作業完全用不到;但跨 2 個節點以上的緊耦合模擬或多機訓練,互連太慢會讓 GPU 集體停工等資料,實測擴展效率可能掉三成以上,等於白租了好幾張卡。

FP64 和 FP16 差在哪?我的題目該選哪種精度?

FP64 以 64 位元表示一個數值,精度最高,是結構分析、氣候模擬這類誤差會累積的科學計算標準;FP16、BF16、TF32、FP8 位元數較少、吞吐量更高,適合對精度寬容的神經網路訓練。同一張卡在不同精度下的帳面效能可差數十倍,選卡前先確認軟體的精度需求,方向錯了預算就白花了。

GPU 從 4 張加到 8 張,速度會直接翻倍嗎?

通常不會。受通訊開銷與 Amdahl 定律限制,只要程式有 5% 無法平行化,理論加速上限就是 20 倍;實務上 4 卡擴到 8 卡,常只快 1.6 到 1.9 倍,取決於程式擴展性與互連品質。建議先做小規模的 strong scaling 測試,確認效益再加卡,避免付了雙倍租金只換到六成加速。

國網中心的台灣杉怎麼申請?通常要排多久?

具學研身分者可向國網中心(NCHC)申請台灣杉的計算資源,以計畫為單位核給額度,費率遠低於商業雲端。但熱門時段需要排隊:尖峰期一個工作在佇列中等上數小時到 2、3 天都有可能。時程緊的團隊常採雙軌制:大規模正式計算排台灣杉,日常開發與趕工改用租用的 GPU 主機分流。

自購 GPU 伺服器和租用,到底怎麼選?

關鍵看使用率與資金。一台 8 卡 H100 伺服器連同機電、冷卻與網路,建置成本上看千萬元,適合未來 3 年以上長期滿載的單位;租用則月租 NT$15,000 元起、高階卡另計,適合專案制、需求波動大的團隊。經驗法則:平均使用率低於五成,租用幾乎都比自購划算,還省下維運人力。

實驗室經費有限,怎麼低成本入門 HPC?

建議分三步:先用現有工作站加 1 張消費級 GPU,驗證程式能有效平行化;再申請國網中心台灣杉的學研額度,跑中型規模的測試;論文或產品衝刺期,短租 2 到 4 張資料中心級 GPU 衝刺。如此前期現金投入可壓在數萬元內,避免一開始就砸數百萬元購置設備,結果使用率不到三成。

程式目前只支援 CPU,改用 GPU 一定要重寫嗎?

不一定。GROMACS、LAMMPS 等主流套件已內建 GPU 支援,改幾個參數即可啟用;自行開發的程式可先用 OpenACC 或 OpenMP 指示詞標註熱點,常常改動不到 10% 的程式碼就能獲得數倍加速;只有要榨出極限效能時,才需要用 CUDA 重寫核心演算法,投入可以分階段進行。

Share this
14 7 月 2026

CAE 工程模擬要什麼 GPU?CST、HFSS、FDTD、FEM 的算力需求完整指南

💡 快速答案:CAE 電磁模擬用 CST、HFSS 該選什麼 GPU?

看你跑哪一類求解器:HFSS 這類頻域有限元素法吃雙精度與大記憶體,建議選 A100、H100 等 80 GB 資料中心卡;CST 時域與 FDTD 以單精度為主、吃平行度,48 GB 的 RTX 6000 Ada 專業卡就很划算。消費級電競卡雙精度被閹割到三十二分之一以下、又沒有 ECC,不適合長時間高精度求解;大型電磁模型常需要 48 至 80 GB 顯示記憶體,預算有限的團隊可評估台灣在地月租 NT$15,000 元起的 GPU 主機,先租後買降低決策風險。

去年秋天,一位新竹網通廠的研發副理拿著採購單來找我:團隊要導入毫米波天線模擬,IT 部門建議買四張旗艦電競卡,一張不到七萬元,規格表上的浮點效能數字漂亮得很。我只問了一句:你們跑的是 HFSS 的頻域直接法求解器,還是 CST 的時域求解器?他愣住了。這一題答不出來,採購單就不該送出去。CAE 工程模擬的 GPU 選型,和 AI 訓練、遊戲繪圖是三套完全不同的邏輯:精度、記憶體、平行度的優先順序全都不一樣。同樣一筆預算,配對了是研發加速器,配錯了就是一台昂貴的暖氣。本文把 CST、HFSS、FDTD、FEM 這幾個關鍵字背後的算力需求一次拆開,給研發主管與模擬工程師一份可以直接對照採購或租用決策的指南。

電磁模擬為什麼是最挑硬體的 CAE 工作負載

CAE(電腦輔助工程)是一把大傘,底下有結構力學、計算流體力學、電磁場模擬等分支,其中對硬體最挑剔的,往往是電磁場求解。CST Studio Suite 與 Ansys HFSS 這兩套業界主流的電磁場求解器,要在三維空間裡把麥克斯韋方程組解到工程可信的精度:網格動輒數百萬、未知數上千萬,S 參數要收斂到負六十 dB 的動態範圍,對浮點精度與記憶體的要求,遠比多數人想像的嚴苛。

技術路線上,HFSS 以頻域有限元素法(FEM)為主,一次解一個頻率點,把整個結構的場分布透過大型矩陣一口氣解出來;CST 則同時提供時域與頻域求解器,其時域求解器採用有限積分技術(FIT),行為與 FDTD(時域有限差分法)同屬一族,靠時間步推進讓電磁波在網格裡傳播。FDTD 這條路線除了天線設計,也大量用於光電元件與高速電路的訊號完整性(SI/PI)分析。兩條路線的數學性格不同,吃硬體的方式也完全不同,這正是選 GPU 之前必須先弄清楚的第一件事。若你對 GPU 與 CPU 的架構差異還不熟,建議先讀GPU 與 CPU 差異解析,再回來看本文的選型邏輯會更有感。

還有一個要先建立的觀念:GPU 並不是把整套模擬流程都搬走。建模、佈網格、自適應網格加密這些前處理步驟,仍以 CPU 與系統記憶體為主,GPU 加速的是最耗時的求解階段;所以一台合格的模擬主機,除了對的 GPU,還要有足夠的 CPU 核心數與 256 GB 以上的系統記憶體,三者缺一,瓶頸就會轉移到最弱的那一環,這也是很多團隊換了卡卻沒變快的原因。

CAE 工程模擬要什麼 GPU?CST、HFSS、FDTD、FEM 的算力需求完整指南
▲ HFSS 頻域吃雙精度大記憶體;CST/FDTD 單精度吃平行度

CST、HFSS、FDTD、FEM:四個名詞一次講清楚

FEM(有限元素法)把連續的結構切成數百萬個四面體元素,在每個元素上用多項式逼近場的變化,最後組裝成一個巨大的稀疏矩陣方程。頻域 FEM 求解器(HFSS 是代表)常用直接法分解矩陣:好處是對高 Q 值的共振結構,像濾波器、腔體、封裝內的諧振,收斂又快又穩;代價是矩陣分解過程會產生大量填充元素,記憶體用量隨問題規模暴衝,一個數百萬未知數的模型,直接法可能吃掉數百 GB 記憶體。一句話記住它的胃口:直接法矩陣求解吃記憶體。

FDTD(時域有限差分法)走完全不同的路:把空間切成規則的 Yee 網格,電場與磁場交錯排列,按時間步一格一格往前推。每個網格點的更新只依賴鄰居,天生就是平行運算的完美形狀,數千個 GPU 核心可以同時各算各的,互不等待。一句話記住它:時域法吃平行度。這也是為什麼 FDTD 與 CST 時域求解器是 GPU 加速最成熟、成效最顯著的一群:寬頻天線、EMC 電磁相容、光波導、超穎介面、高速板級 SI/PI,都是它們的主場。

把名詞對回產品就清楚了:HFSS 是頻域 FEM 的代表;CST 一套軟體裡同時有時域(FIT,行為類 FDTD)與頻域(FEM)求解器,工程師依結構特性切換;光電領域常見的獨立 FDTD 工具,則幾乎是為 GPU 而生。還有一個常被忽略的變數:網格收斂。工程上為了確認結果可信,通常要把網格加密再算一次、比對 S 參數變化是否夠小,這代表同一個案子至少要跑數輪、每輪規模更大;硬體如果只剛好塞得下第一輪,收斂測試就會把你逼到牆角,規劃記憶體時建議直接抓 1.5 至 2 倍的餘裕。

FP64 與 VRAM:兩個決定成敗、行銷卻最少講的規格

顯卡行銷喜歡講 FP32 單精度與 AI 算力,但高精度 CAE 的世界裡,真正的關鍵是 FP64 雙精度浮點。頻域 FEM 的矩陣分解對數值誤差極度敏感,誤差會在數千萬次浮點運算中累積放大,FP32 大約七位的十進位有效位數常常不夠用,輕則收斂變慢,重則解出一個看起來合理、其實錯掉的場分布。這是消費級顯卡的第一個陷阱:GeForce RTX 系列的 FP64 吞吐是被刻意閹割的,通常只有 FP32 的三十二分之一到六十四分之一;一張 FP32 帳面 80 TFLOPS 的旗艦電競卡,FP64 可能只剩一點多 TFLOPS,跑雙精度矩陣求解時,昂貴的核心多數時間在旁邊看戲。

第二個陷阱是記憶體。消費卡 VRAM 普遍只有 16 至 24 GB,而且沒有 ECC 錯誤更正機制;一場跑 48 小時的求解,宇宙射線造成的單一位元翻轉,就可能讓結果悄悄偏掉,而你不會收到任何警告。大型電磁模型,像毫米波陣列天線、整機 EMC、先進封裝的 SI/PI,需要 48 GB 到 80 GB VRAM 是常態;裝不下的時候只有兩條路:把模型切分,增加工程負擔與收斂風險;或退回 CPU 搭配大容量系統 RAM 硬解,速度可能慢上一個量級。

容量之外,頻寬同樣是勝負手。稀疏矩陣運算與 FDTD 的網格更新,都屬於記憶體頻寬受限的工作:每做一次乘加,就要從記憶體搬進搬出好幾筆資料,核心再多,資料餵不進來也只能空轉。資料中心卡配的 HBM 高頻寬記憶體可達每秒 2 至 3 TB,消費卡的 GDDR 多在每秒 1 TB 上下甚至更低;同一套求解器在兩者上的實際表現差距,常常比帳面算力的差距更大,這一點在規格表上看不到,只有跑過的人知道。

答案因此很清楚:高精度電磁求解應該用資料中心級或專業卡。NVIDIA A100 的 FP64 約 9.7 TFLOPS,透過 Tensor Core 可達 19.5 TFLOPS;H100 依版本約 26 至 34 TFLOPS,兩者都配 80 GB HBM 高頻寬記憶體與 ECC,是頻域 FEM 直接法的正解。RTX 6000 Ada 這類專業卡的 FP64 一樣偏弱,但 48 GB ECC VRAM 加上強悍的 FP32,對吃平行度、以單精度為主的時域 FDTD 工作負載非常划算。也要替預算把關:並非所有 CAE 都吃 FP64,顯式動力學、多數 CFD 生產流程、AI 代理模型用 FP32 或混合精度就能跑出可用結果。一個好記的比喻:FP64 像手術刀,FP32 像菜刀;切菜用手術刀是浪費,開刀用菜刀是災難。把工作負載分類清楚,才不會為用不到的精度多付一倍的錢。

對照表:四類求解器的精度、記憶體與建議卡型

下表把常見電磁與 CAE 工作負載的硬體需求整理成一頁,建議直接拿著你手上的專案清單來對照:

求解器與方法 典型應用 精度需求 VRAM 建議 建議卡型
HFSS(頻域 FEM) 高 Q 濾波器、毫米波天線、IC 封裝 FP64 為主 48 至 80 GB,特大模型另需數百 GB 系統 RAM A100 80GB、H100
CST 時域求解器(FIT,類 FDTD) 寬頻天線、EMC、板級 SI/PI FP32 為主,關鍵驗證用 FP64 24 至 48 GB RTX 6000 Ada 48GB、A100
獨立 FDTD(光電、光子) 光波導、超穎介面、影像感測 FP32 或混合精度 16 至 48 GB RTX 6000 Ada、A100
結構隱式 FEM 靜力、模態、諧響應 FP64 為主 32 至 80 GB A100、H100
顯式動力學、CFD、AI 代理模型 碰撞、流場、快速設計迭代 FP32 或混合精度 16 至 48 GB RTX 6000 Ada,入門可用消費卡但無 ECC

兩個閱讀提醒:第一,表中 VRAM 是單卡建議值,多卡切分雖可分攤,但跨卡通訊會吃掉部分效率;第二,CST 與 HFSS 的授權費用往往比硬體更貴,一套年費數十萬到數百萬元的求解器,卡在一張不對的 GPU 上,等於讓最貴的資產閒置。此外,專業卡與資料中心卡還有一層價值:通過主要 CAE 軟體商的 ISV 認證,驅動穩定性經過驗證,出問題時原廠支援也認帳,對生產環境是實實在在的保險。

台灣的現實:射頻含量越來越高,算力門檻也越來越高

台灣的產業結構讓電磁模擬需求特別旺:半導體先進封裝要看 SI/PI 與電源完整性,網通與手機供應鏈要做 5G 毫米波與 WiFi 7 天線,車用雷達進入 77 GHz 世代,連伺服器與電動車的機構件都要做 EMC 預模擬。需求端火熱,供給端卻很殘酷:一張 H100 80GB 市價常在新台幣百萬元上下,A100 80GB 也要數十萬元,加上伺服器平台、UPS 與機房空調,一套像樣的模擬主機輕鬆突破兩百萬元。營運成本同樣不能忽視:台灣工業電價每度約 NT$3 至 4 元、夏季更貴,一台滿載的多 GPU 伺服器連同空調,全年電費可能接近十萬元;再算上維運人力與三年折舊,中小型團隊很難只用「買」來解這一題。學研端也一樣:國家級超算資源要排隊,尖峰期一排就是數天,不少實驗室乾脆把計畫經費轉向租用,租期對齊專案,錢花在刀口上。

舉一個輔導過的實例(細節經過改寫):新竹一家網通公司的八人 RF 團隊,要為 28 GHz 毫米波模組做封裝天線設計,HFSS 模型未知數約兩千萬,原本 64 核心、512 GB RAM 的 CPU 工作站單次掃頻要 11 個小時,一天只能迭代一次,時程眼看要爆。他們評估自購雙 A100 伺服器,含平台報價約 NT$180 萬,機房空調還要追加數十萬元;最後改租台灣在地的 GPU 主機,六個月專案期總支出不到 NT$40 萬,同一個模型的求解時間壓到 2 至 3 小時,一天能跑三輪參數迭代,天線增益規格提前三週收斂。研發主管事後說了一句很傳神的話:我們買的不是卡,是迭代次數。這樣的劇本,在台灣的網通、車用電子與封測聚落裡,每一季都在重演。

自購還是租用?給研發主管的三個判斷點

這一題沒有標準答案,但有標準算法。建議把下面三個指標攤在桌上逐一檢視:

  • 稼動率:模擬負載全年平均跑不到五成,自購的折舊與維運就攤不平;專案型、峰值型的需求,租用幾乎必然便宜。
  • 記憶體天花板:今天 24 GB 夠用,下一代產品上到毫米波或更大陣列時,模型規模往往一口氣翻倍;租用讓你隨專案換到 48 GB、80 GB 的卡,不必賭三年後的規格。
  • 人與時間:自購要處理驅動、韌體、散熱、備援與資安,這些隱形成本常被低估;把機房的事交給機房,工程師的時間留給模型本身。

另一個常見的折衷是混合配置:平日的網格收斂測試與小型參數掃描,放在自有的一張 48 GB 專業卡上;專案衝刺期再租用 80 GB 級的機型放大火力,尖峰一過就退租,現金流壓力小很多,也不會在三年後留下一批過時的資產。

把三年總持有成本(硬體、電費、機房、人力)攤開與租金對比,多數二十人以下的研發團隊會發現租用更划算,而且風險低得多。想把 HPC 叢集、排程與平行運算的基礎一次補齊,可以延伸閱讀HPC 高效能運算入門指南;想直接看台灣在地可租用的機型與規格,可參考戰國策 GPU 主機方案,對照上面的表格,挑出適合你求解器的卡型與記憶體等級。

CAE 工程模擬要什麼 GPU?CST、HFSS、FDTD、FEM 的算力需求完整指南
▲ 照求解器類型對號選卡

找台灣在地的 GPU 主機夥伴

如果你的團隊正在為 CST、HFSS 或 FDTD 工作負載尋找算力,又不想一次背下數百萬元的採購與機房投資,戰國策 GPU 主機是務實的起點:提供 NVIDIA H100 與 RTX 系列多種機型,主機放在台灣機房,低延遲、資料不出境,月租 NT$15,000 元起,搭配 7×24 中文技術支援,從驅動環境、求解器相容性到多卡配置,都有工程師陪你處理。歡迎到官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 查看機型與價格,或加 LINE 帳號 @119m 聊聊你的模型規模與精度需求,免費專線 0800-003-191 隨時為你服務。

常見問題 FAQ

跑 HFSS 一定要用 FP64 很強的 GPU 嗎?

建議是。頻域有限元素法的直接法矩陣求解對數值誤差極敏感,雙精度是業界常規,適合 A100(FP64 約 9.7 TFLOPS)或 H100 這類資料中心卡。消費卡雙精度只有單精度的三十二分之一到六十四分之一,長時間高精度求解既慢又有風險;小模型可先用 CPU 驗證,再決定算力等級。

RTX 4090 這類電競卡能拿來跑 CST 嗎?

跑 CST 時域求解器技術上可行,因為它以單精度為主,加速也有感;但 24 GB 記憶體上限與缺少 ECC 是硬傷,模型一大就裝不下,連續跑 48 小時以上也有位元翻轉風險。正式生產環境建議至少用 48 GB 的專業卡,例如 RTX 6000 Ada,穩定性差很多。

電磁模擬到底需要多少 VRAM 才夠?

中小型天線或濾波器模型,16 至 24 GB 可以起步;毫米波陣列、整機 EMC、先進封裝這類大型模型,常態需要 48 至 80 GB。記憶體不足時只能切分模型或退回 CPU 加大系統記憶體,後者速度可能慢 5 至 10 倍,時程緊的專案不建議走這條路。

A100 與 H100 該怎麼選?

兩者都配 80 GB 高頻寬記憶體與 ECC。A100 雙精度約 9.7 TFLOPS,H100 依版本約 26 至 34 TFLOPS,記憶體頻寬也從約 2 TB/s 提升到 3 TB/s 以上。模型大、每天都要跑、預算充足就選 H100;A100 價格較低,對多數頻域有限元素法專案已相當夠用;預算有限又非雙精度不可,先選 A100 是穩健的起手式。

顯示記憶體裝不下模型時有哪些解法?

常見三條路:利用對稱性或切分模型,常可省下三成到五成記憶體;改用迭代法求解器,用收斂穩健性換空間;或退回 CPU 搭配 512 GB 以上系統記憶體硬解,最穩但可能慢一個量級。長期而言,升級到 80 GB 級的卡或租用大記憶體機型才是正解。

GPU 加速電磁模擬實際能快多少?

取決於求解器類型。時域 FDTD 與 FIT 平行度高,單卡對單顆 CPU 常見 10 至 30 倍加速;頻域有限元素法的矩陣求解保守許多,常見 2 至 8 倍,且受記憶體頻寬影響大。最準的做法是拿自家代表性模型實測,再決定買或租哪一個等級。

自購一台能跑大型電磁模型的 GPU 伺服器要多少錢?

雙 A100 80GB 伺服器含平台,常見報價落在 NT$150 萬至 250 萬,H100 機型更高;還要加機房空調、UPS 與維運人力,以及台灣工業電價每度約 NT$3 至 4 元的長期電費。三年總持有成本常是採購價的 1.3 至 1.5 倍;多數團隊把總帳攤開之後,才回頭認真評估租用方案。

租用 GPU 主機的費用大概是什麼等級?

台灣在地方案入門月租約 NT$15,000 元起,H100 等級依規格與租期另議。以六個月專案估算,租用總支出常僅為自購方案的兩成到四成,而且不必扛折舊、機房與維運;稼動率低於五成、或需求集中在特定專案期的團隊,租用通常更划算。

ECC 記憶體對 CAE 模擬真的重要嗎?

重要。一場 48 至 72 小時的長時間求解,單一位元翻轉就可能讓結果悄悄偏掉而不報錯,ECC 能偵測並更正單位元錯誤,把風險降到接近零。這是專業卡與消費卡的關鍵差異之一;對授權年費動輒數十萬元的商用求解器,沒道理在這層保險上省錢。

所有 CAE 都需要 FP64 雙精度嗎?

不是。顯式動力學、多數 CFD 生產流程與 AI 代理模型,用單精度或混合精度即可,速度常快 2 倍以上;真正離不開雙精度的是頻域有限元素法這類直接法矩陣求解與高 Q 共振結構。先把工作負載分類,再決定精度等級,往往能省下一半以上的硬體預算。

Share this
14 7 月 2026

8-GPU 主機是什麼概念?單機獨佔 8 卡架構的效能、電力與租用成本全解析

💡 快速答案:8-GPU 主機是什麼,和 8 台單卡主機差在哪?

8-GPU 主機是把 8 張 SXM 模組焊在同一塊 HGX 基板上、以 NVSwitch 形成任兩卡 900GB/s 全互連的單一系統,以 H100 版本為例,聚合出 640GB HBM3 顯存與約 16 PFLOPS 的 FP8 算力,軟體可以把它當一張巨型 GPU 用。8 台單卡主機只能靠乙太網路互連,頻寬差上百倍,跑不了大模型的張量並行。台灣租用行情:8 卡整機月租約 NT$700,000 至 1,200,000,單機獨佔代表整台硬體只服務你一家,效能穩定且資料隔離。

AI 圈講算力常用「幾台 8 卡機」當單位,原因很實際:8-GPU 主機是資料中心 AI 的原子單位,買是一台一台買,租也是一台一台租。但一台 8 卡機到底是什麼構造?為什麼是 8 張不是 6 張或 10 張?電力吃多兇?單機獨佔租下來要多少錢、跟雲端切片差在哪?這篇從架構拆到帳單,把你評估時需要的數字一次備齊,全部以 2026 年台灣市場的實際行情為準,可以直接拿去做預算簡報;如果你正在評估的是「要不要為公司租下第一台八卡機」,這篇的每一段都是為你寫的。

為什麼是 8 張卡:一個架構上的甜蜜點

8 這個數字不是隨便定的。NVIDIA 的 HGX 標準基板以 4 顆 NVSwitch 晶片為交換核心,8 張 SXM 模組剛好可以形成「任兩卡之間都有 900GB/s」的全互連拓撲,再多就需要更多層交換,延遲與成本都會跳階。同時,8 張 700W 的卡加上 CPU、記憶體與風扇,整機功耗剛好逼近單一機櫃供電與散熱的工程極限,8 卡是「一台機器能塞進一個熱封套」的甜蜜點。於是整個生態都圍著它標準化:框架的並行策略預設 8 卡一組、機房以 8 卡機為部署單位、租賃市場以整機為報價單位。

對照組是 PCIe 版的 8 卡伺服器:一樣塞 8 張卡,但卡間走 PCIe 交換器,頻寬是 NVLink 的七分之一,定位是「8 個獨立工作負載的集裝箱」而不是「一張巨型 GPU」。兩種 8 卡機的差異,本質上就是 SXM 與 PCIe 的互連差異,選錯的代價我們在那篇有完整拆解。

市場上也有 4 卡的 HGX 基板與各種 PCIe 8 卡變體,定位是入門與推論密集場景;但租賃市場的報價、二手殘值、框架預設值全部圍繞 8 卡 SXM 整機打轉,流通性最好、規格最標準。這也是我們建議企業以 8 卡為規劃單位的務實理由:未來不管是擴充、轉租還是換供應商,標準品的路最寬。換句話說,8 卡不只是技術上的甜蜜點,也是市場流動性的甜蜜點。

8-GPU 主機是什麼概念?單機獨佔 8 卡架構的效能、電力與租用成本全解析
▲ 8×H100 經 NVSwitch 全互連,軟體可當一張巨型 GPU 用

解剖一台 HGX H100 8-GPU 整機

子系統 典型規格 備註
GPU 8 張 H100 SXM5 80GB 聚合 640GB HBM3
GPU 互連 4 顆 NVSwitch 任兩卡 900GB/s
CPU 雙路 64 核以上 資料前處理與排程
系統記憶體 1TB 至 2TB 建議為顯存 1.5 至 3 倍
本機儲存 NVMe 15TB 至 30TB 訓練資料快取,讀取 5GB/s 起
對外網路 8 張 400Gb/s InfiniBand 或 RoCE 跨機擴展用
功耗與體積 滿載 10 至 12kW,4U 至 8U 含機櫃常超過 300 公斤

幾個容易被低估的配套:系統記憶體不足會讓資料載入卡住 GPU 空轉,NVMe 吞吐不夠會讓一個 epoch 的資料讀取拖垮整體時程,8 張 400G 網卡則是未來跨機擴展的保命符。租用報價之間差的那一兩成,常常就差在這些看不見的地方,比價時記得把配套規格逐項攤開。

效能的意義:單機就是一個訓練叢集

把數字聚合起來看:8 張 H100 SXM5 等於 640GB HBM3 顯存、約 26.8TB/s 的聚合顯存頻寬、FP8 約 16 PFLOPS 的 dense 算力。這是什麼概念?70B 模型的 LoRA 微調可以整組塞進單機,全參數微調搭配 ZeRO 也能在單機起跑;FP8 精度的 405B 模型推論,兩台就撐得起來。而因為 8 卡之間是 NVSwitch 全互連,張量並行切 8 份的擴展效率有九成以上,單機內幾乎感覺不到「卡是分開的」。

單機的天花板也要講清楚:再往上就是跨機,通訊從 900GB/s 的 NVLink 掉到 400Gb/s(50GB/s)的 InfiniBand,速度差 18 倍,並行策略要重新設計。所以行內的鐵律是:能在一台 8 卡機內解決的問題,就不要跨機;要跨機的規模,InfiniBand 網路的品質比 GPU 本身更值得你盯。

實際功耗曲線比銘牌溫和一點:全力訓練時整機通常吃 85% 至 100% 的額定功耗,推論服務依併發量在 40% 至 70% 之間浮動,深夜離峰可以壓更低。這對電費與散熱都是好消息,但機房的供電設計仍然要按滿載抓,因為訓練任務一排下去就是連續數週的滿載,沒有僥倖空間。

電力與散熱:台灣機房的現實考題

一台 8 卡機滿載 10 至 12kW,大約等於 3 到 4 戶台灣家庭的夏季用電。台灣多數既有機房的機櫃供電規格是 3 至 5kW,一台 8 卡機直接爆表兩倍,所以它只能住進 15kW 以上的高密度機櫃,搭配水冷背板,或者乾脆上直接液冷;能供應這種櫃位的機房集中在雙北、桃園、台中的新建案,櫃位費比一般機櫃高 50% 以上。這是很多企業自購 8 卡機之後才發現的第二筆帳:機器 NT$2,000 多萬,還要花數百萬改造機房,或者根本找不到地方放。

電費一樣算給你看:滿載 10.5kW 一個月是 7,560 度,台灣工業電價每度 NT$3.5 至 4.5,加上 PUE 1.4 的冷卻開銷,月電費約 NT$37,000 至 48,000,夏季尖峰再加一成。租用模式把這些全部內含,月租單一數字就是總成本;自建則要自己扛電價調漲與散熱工程,2022 年以來台灣工業電價累計漲幅已超過五成,這個風險放進五年 TCO 裡非常有感。

櫃位市場的現況也給個座標:台灣高密度機櫃的月租含電約 NT$60,000 至 120,000 一櫃,液冷櫃更高,而且新建案的釋出速度追不上 AI 需求,2026 年熱門機房的高密櫃普遍要排隊。自建還會撞上台電契約容量的關卡,增容從申請到施工常要半年起跳;租用則把這一整串問題外包掉,時程風險直接歸零。這也是整機租用方案興起的結構性原因:業者手上有櫃位與電力配額,對單一企業來說,租算力比自己去搶櫃位實際得多。

單機獨佔對上雲端切片:錢和資料的兩本帳

先講錢。國際雲端租 8 卡 H100 叢集,2026 年 on-demand 行情約每 GPU 每小時 US$2 至 4,整機月費換算約 NT$37 萬至 75 萬,再加儲存費與每 GB US$0.05 以上的資料傳出費;台灣在地的單機獨佔月租約 NT$700,000 至 1,200,000,含電力、頻寬與儲存,年約再折 15% 至 25%。粗看雲端便宜,但只要利用率超過五成、資料集以 TB 計,兩者的總成本就會交叉,重度使用下在地獨佔反而省。

再講資料這本帳。單機獨佔的意思是整台硬體只服務你一家:沒有鄰居搶頻寬的效能抖動,跑基準測試的數字就是你每天拿到的數字;資料從頭到尾不離開台灣機房,金融、醫療、政府案的法遵審查直接過關;要裝什麼系統、怎麼切虛擬化、要不要開 MIG,全由你決定。對照雲端切片的共享底層與出境疑慮,這本帳對很多台灣企業比價格那本更重。合規這條再往下挖一層:金融業的委外作業規範、醫療的個資要求,審查時都會問「實體主機是否與其他租戶共用」「資料儲存位置是否在境內」,單機獨佔加台灣機房,這兩題的答案乾淨俐落;共用雲平台則要準備一疊補充說明,審查時程常多拖一兩個月。我們看過不只一個案子,技術評估三天就完成,法遵文件來回改了六週,提前把架構選在容易解釋的那一邊,是專案經理的自保之道。整機租用的完整行情與合約眉角,可以搭配 H100 租用指南服用。

實際案例:遊戲公司的三個月訓練衝刺

台北內湖一家遊戲公司要做 NPC 對話模型,基底是 34B 開源模型加上自家世界觀語料的持續預訓練與微調。需求很典型:訓練期三個月要火力全開,上線後只需要推論算力。他們的配置是租一台 8 卡 H100 整機(月租約 NT$880,000)衝訓練,同步用兩張 H100 PCIe(月租約 NT$200,000)搭建推論與評測環境;三個月後訓練結束,整機退租,推論環境擴到四張卡,月支出從尖峰的 NT$108 萬降到 NT$40 萬上下。

對照自購方案:一台 8 卡機採購價約 NT$2,200 萬至 2,600 萬,加上機房改造與維運人力,三個月的專案根本不可能回本,而且訓練結束後那台機器的算力就閒置了。「訓練尖峰租整機、常態負載養小機」的節奏,是目前台灣中型團隊被驗證過最省的打法,租賃市場的價值就在讓算力跟著專案的心跳走。

他們有一個排程細節值得抄:訓練後期把 checkpoint 頻率從每四小時拉密到每一小時,退租日前完成最後一輪評測後,所有權重與資料當天搬回自有儲存,隔天準時退租,一天租金都沒浪費。八卡機的日租攤提接近 NT$30,000,把退場排程當成專案的一部分來管理,省下來的都是淨利。

租用 8-GPU 主機的檢查清單

詢價時把這六項逐一問清楚:一,GPU 版本與互連,SXM5 加 NVSwitch 才是完全體,要求提供 nvidia-smi topo 與 nccl-tests 實測;二,機櫃供電與冷卻方式,15kW 櫃或液冷,關係到長時間滿載的穩定性;三,儲存效能白紙黑字,NVMe 讀取 5GB/s 是訓練的及格線;四,網路配置,對外頻寬是否獨享、跨機擴展有沒有 InfiniBand 選項;五,SLA 與換卡時效,建議 4 至 8 小時,並確認備品在台灣不用等進口;六,合約彈性,訓練專案結束後能否降規轉租、退租時的資料抹除證明。這六題全部有明確答案的供應商,才值得把七位數的月租交給他。另外把「開機率承諾」與「效能衰退處理」也放進清單:GPU 長期滿載下偶發的單卡效能衰退(例如 HBM 溫度異常導致降頻)不算完全故障,但會拖慢整體訓練,合約裡要定義這種情況的認定標準與處理時效。願意把這條寫清楚的供應商,通常也是維運能力最扎實的那一群。

日常維運的節奏也先有個底:每天看一眼監控面板的溫度、功耗與記憶體錯誤計數,每週對訓練吞吐做一次基準比對,每月讓業者出一份健檢報告,韌體與驅動的更新則挑訓練空檔的維護窗口做,不要在長任務中途手癢。這些事聽起來繁瑣,實際上大多可以自動化,重點是出問題時你手上有歷史數據可以比對,爭議處理的速度會完全不同。八卡機是重資產服務,把維運當成租金的一部分來經營,才能把每一分月租的價值榨乾。

8-GPU 主機是什麼概念?單機獨佔 8 卡架構的效能、電力與租用成本全解析
▲ 單機獨佔 8 卡的三個關鍵

找台灣在地的 GPU 主機夥伴

8-GPU 主機是重裝備,從機房電力到合約條款每一環都有專業門檻,找在地夥伴把關最省心。戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列、從單卡到多卡整機的彈性配置,台灣機房低延遲、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。專案要衝刺、預算要精算,都歡迎直接找顧問聊:官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m、免費專線 0800-003-191。

常見問題 FAQ

一台 8-GPU 主機的總體效能有多強?

以 HGX H100 為例:640GB HBM3 顯存、聚合顯存頻寬約 26.8TB/s、FP8 算力約 16 PFLOPS(dense),8 卡間由 NVSwitch 提供任兩卡 900GB/s 互連。實務上可單機完成 70B 模型微調、支撐 405B 級模型的推論分片,張量並行擴展效率達九成以上,等於把一個小型訓練叢集裝進一台 4U 至 8U 的機箱。這個機內互連水位,是任何乙太網路串起來的多機叢集都追不上的。

為什麼 AI 主機都是 8 卡,不是 6 卡或 12 卡?

8 卡是 NVSwitch 全互連拓撲與機櫃熱功耗的雙重甜蜜點:4 顆 NVSwitch 剛好支撐 8 張 SXM 模組任兩卡 900GB/s,再多要加交換層數;8 張 700W 的卡加平台約 10 至 12kW,逼近單櫃供電與散熱極限。生態也隨之標準化,HGX 基板、並行框架、租賃報價都以 8 卡為單位,4 卡版是次要規格。

8-GPU 主機在台灣的月租行情是多少?

HGX H100 8 卡整機月租約 NT$700,000 至 1,200,000,含電力、機櫃、基本頻寬與儲存,年約可談 15% 至 25% 折扣;H200 版本貴約 20% 至 35%。對照採購價 NT$2,200 萬至 2,600 萬加機房改造,租用的損益平衡點約在連續使用 24 至 30 個月,專案型需求幾乎都是租比買划算。簽約前確認月租是否含儲存與流量,這兩項是不同業者報價差異的常見來源。

單機獨佔和雲端 GPU 切片的差別是什麼?

獨佔代表整台硬體只服務一個客戶:效能無鄰居干擾、基準數字穩定重現、資料不與他人共享底層、系統與虛擬化自主。雲端切片則共享實體資源,尖峰時段可能出現效能抖動,資料多半存放境外。價格上雲端 on-demand 靈活但加上儲存與傳出流量費後,利用率超過五成時獨佔整機的總成本通常更低。

一台 8 卡機的耗電量和電費是多少?

滿載約 10 至 12kW,相當於 3 到 4 戶家庭的夏季用電;月耗電 7,200 至 8,600 度,以台灣工業電價每度 NT$3.5 至 4.5 加 PUE 1.4 計,月電費約 NT$37,000 至 55,000。租用時全數內含於月租;自建則需自行承擔電價調漲風險,台灣工業電價自 2022 年以來累計漲幅已超過五成。

台灣一般機房放得下 8-GPU 主機嗎?

多數放不下。傳統機櫃供電 3 至 5kW,一台 8 卡機就需要 15kW 以上的高密度櫃位加水冷背板或液冷,這種櫃位集中在雙北、桃園、台中的新建機房,櫃位費比一般機櫃貴 50% 以上且常要排隊。這也是租用整機服務的核心價值之一:電力、冷卻、樓板承重(整櫃常超過 300 公斤)全由業者處理。

什麼樣的工作負載需要獨佔一台 8 卡機?

三類最典型:34B 至 70B 模型的持續預訓練或全參數微調,單機 NVSwitch 互連是效率關鍵;100B 級以上模型的生產推論,需要多卡張量並行分片;以及對資料隔離有法遵要求的金融、醫療、政府專案。若只是多個獨立小服務,租多台單卡主機的彈性更高,不必為用不到的互連付錢。

跨到兩台以上 8 卡機時要注意什麼?

通訊頻寬會從機內 NVLink 的 900GB/s 掉到機間 InfiniBand 400Gb/s(約 50GB/s),差 18 倍,並行策略必須改成機內張量並行、機間資料或管線並行。租用時要確認 8 張 400G 網卡是否全數接上獨立交換機、是否支援 GPUDirect RDMA;網路沒配好的跨機叢集,擴展效率可能直接掉三成。

租 8 卡機一定要搭配什麼周邊規格?

四項及格線:系統記憶體 1TB 起(建議為總顯存的 1.5 至 3 倍),NVMe 本機儲存 15TB 起且讀取 5GB/s 以上,CPU 雙路 64 核以上供資料前處理,對外頻寬 10Gbps 起。任何一項不及格都會讓 GPU 空轉等資料,等於七位數月租在燒空氣,詢價時要求列出實測數據而非型錄規格。

訓練專案結束後,8 卡機的租約怎麼收尾最省?

簽約時就把退場寫進條款:訓練期用整機(例如 3 至 6 個月),結束後轉租 2 至 4 張單卡等級主機跑推論,月支出可從七位數降到 NT$20 萬至 40 萬;同時要求業者提供退租資料抹除證明(NIST 800-88 等級)。有規劃退場的專案,總算力支出通常比一路租整機省四到六成。

Share this
14 7 月 2026

GDDR7 vs HBM 顯存怎麼分?一張圖看懂 GPU 記憶體對 AI 效能的影響

💡 快速答案:GDDR7 和 HBM 顯存有什麼差別?

差在構造、頻寬與成本三個層面。GDDR7 是獨立顆粒焊在電路板上,RTX 5090 的 512-bit 配置可達 1,792GB/s,成本親民;HBM 是把 DRAM 晶片垂直堆疊、透過矽中介層直連 GPU,位寬達數千 bit,H100 的 HBM3 有 3,350GB/s、H200 的 HBM3e 達 4,800GB/s,但先進封裝讓成本高出 5 倍以上。大模型推論的 tokens/s 幾乎與頻寬成正比,所以 70B 級服務要 HBM 卡;14B 以下模型與影像生成,GDDR7 的每元效能反而更漂亮。簡單心算:模型大小乘以目標 tokens/s 等於所需頻寬,拿這條公式對規格表,就能自己選對卡。

選 GPU 的時候,多數人盯著 TFLOPS 算力數字看,但做 AI 推論的老手都知道一個殘酷事實:八成的時間,瓶頸不在算力,在記憶體。同一個模型,搬到頻寬高一倍的卡上,tokens/s 幾乎跟著翻倍,算力根本沒吃滿。這篇把 GDDR7、GDDR6X、HBM 這幾種顯存的物理差異、規格數字、成本結構一次講透,最後給你一套「用頻寬估推論吞吐」的心算公式,以後看規格表就能自己判斷,不用被行銷話術帶著走。畢竟顯存的規格差距,最後都會變成兩個很實際的數字:你的服務每秒能吐多少 token,以及你每個月要付多少租金。

兩種顯存的物理構造:平面擺設對垂直堆疊

GDDR 家族的做法是把記憶體顆粒一顆顆焊在 GPU 周圍的電路板上,訊號走 PCB 走線,每顆顆粒 32-bit 位寬,RTX 5090 用 16 顆組出 512-bit。優點是製造成熟、成本可控、良率高;缺點是 PCB 走線的物理極限,位寬做不寬、訊號速率再快也有天花板。GDDR7 用 PAM3 編碼把單腳位速率推到 28Gbps 以上,已經是這條路線的高段位操作。

HBM(High Bandwidth Memory)直接換一條路:把 8 到 12 層 DRAM 晶片垂直堆疊,用矽穿孔(TSV)連通,再透過矽中介層(interposer)與 GPU 晶片並肩封裝在一起。訊號距離從公分級縮到毫米級,位寬直接開到單堆疊 1,024-bit,H100 用 5 個堆疊組出 5,120-bit。等於 GDDR 在比「單線道的車速」,HBM 直接蓋了四十線道的高速公路。這也是為什麼資料中心級 AI 卡清一色採用 HBM,頻寬的量級就是不同。

GDDR7 這一代的工程亮點在訊號編碼:從 GDDR6X 的 PAM4 改為 PAM3,在訊號完整性與功耗之間取得更好的平衡,單腳位速率起步 28Gbps、規格上限上看 40Gbps 級,還有成長空間。但位寬受限於 PCB 佈線與晶片接腳數,512-bit 已經接近消費卡的工程極限,想再翻倍頻寬,路只剩下往 HBM 的方向走,而那是完全不同的成本世界。

GDDR7 vs HBM 顯存怎麼分?一張圖看懂 GPU 記憶體對 AI 效能的影響
▲ GDDR7 1,792GB/s 成本親民;HBM 堆疊封裝貴 5 倍、頻寬碾壓

規格對照表:五種顯存一次看懂

顯存類型 代表 GPU 容量 頻寬 市場定位
GDDR6X RTX 4090 24GB 1,008GB/s 消費旗艦
GDDR7 RTX 5090 / RTX PRO 6000 32GB / 96GB 約 1,792GB/s 消費旗艦 / 工作站
HBM2e A100 40 / 80GB 最高約 2,000GB/s 上代資料中心
HBM3 H100 80GB 約 3,350GB/s 資料中心主力
HBM3e H200 / B200 141GB / 192GB 4,800 / 8,000GB/s 資料中心頂規

兩個值得停下來看的數字。一,GDDR7 的 1,792GB/s 其實已經摸到 HBM2e 的地盤,消費卡吃到了三年前資料中心卡的頻寬水位,這是 RTX 5090 推論表現亮眼的根本原因。二,HBM3e 對 GDDR7 依然保有 2.7 到 4.5 倍的差距,而且容量天花板完全不同,141GB 對 32GB,這條鴻溝短期內不會被填平。

你可能會問:那為什麼消費卡不乾脆用 HBM?其實十年前 AMD 出過 HBM 消費卡,結果成本壓不下來、容量還受限,市場用鈔票投了反對票。以 4090 的定位為例,換上 HBM 成本估計要多五成以上,對遊戲與創作者市場完全不成立;反過來,資料中心客戶為頻寬付錢眼睛都不眨,兩條產品線就此分道揚鑣。同樣的邏輯放在工作站卡上:RTX PRO 6000 用 96GB 的 GDDR7 而不是 HBM,就是要把容量做大、價格壓在 H100 的一半以下,精準卡位「要容量、不要極致頻寬」的市場。看懂這個分工,規格表上的價差就不再神祕。

推論吞吐的心算公式:頻寬除以模型大小

大模型推論在低批次下是頻寬綁定的:每產生一個 token,GPU 要把整套模型權重從顯存完整讀一遍。於是理論吞吐上限就是一道除法:tokens/s 約等於記憶體頻寬除以模型大小。套幾組數字感受一下:8B 模型 FP16 精度約 16GB,在 4090 上的理論上限是 1,008 除以 16 等於每秒 63 個 token,5090 是 112 個,H100 是 209 個;70B 模型 FP8 約 70GB,H100 上限約 48 tokens/s,H200 約 68 tokens/s。實際數字會因為框架效率打個七到九折,但相對比例八九不離十。

這道公式解釋了兩件事。第一,為什麼 5090 推論比 4090 快近八成,算力明明只差三成,因為吃頻寬的負載跟著頻寬走。第二,為什麼批次拉大後 HBM 卡的優勢更明顯:高併發時 KV cache 的讀寫量疊上來,頻寬的壓力是乘法不是加法。想看 5090 在真實租用情境的表現,RTX 5090 租用實測這篇有完整數據。

公式的適用邊界也要講清楚:批次拉大之後,權重讀取由所有請求分攤,瓶頸逐漸轉向算力與 KV cache 的讀寫,此時頻寬公式會高估差距;預填充階段吃算力、解碼階段吃頻寬,長輸入短輸出的負載對頻寬的敏感度較低。所以嚴謹的說法是:低併發、長輸出的互動式服務最貼近這條公式,批次離線推理則要看算力與頻寬的平衡點。實務建議是拿 vLLM 的壓測工具,用自己的請求分佈(輸入長度、輸出長度、併發)跑一輪,一個下午就能得到比任何理論公式都準的答案。

訓練與長上下文:容量與頻寬都要,還要互連

訓練的記憶體需求是三層疊加:權重與優化器狀態吃容量(AdamW 全參數訓練每參數約 16 至 18 bytes)、activation 吃容量也吃頻寬、梯度交換吃卡間互連。HBM 卡在這裡的優勢是「容量大讓你少切幾張卡」:80GB 的 H100 讓 13B 模型單卡全參數微調變得可行,而 32GB 的卡要切到 4 卡以上,通訊開銷跟著上來。長上下文推論則是另一個容量戰場,70B 級模型 128K 上下文的 KV cache 單序列就要 35 至 45GB,GDDR 卡的容量在這種場景直接出局,詳細的帳我們在 H200 的 141GB 解析裡算過一輪。

所以顯存選型的完整判斷是三個維度:頻寬決定單卡吞吐、容量決定模型與上下文上限、互連決定多卡效率。GDDR 卡通常在第一維有驚喜、第二第三維有硬傷,HBM 卡三維全能但價格是另一個量級。

訓練側還有一個頻寬的隱形消費者:activation 重計算。顯存不夠時框架會用 checkpoint 換記憶體,代價是反向傳播時多一輪前向計算與資料搬運,頻寬吃緊的卡會被放大懲罰。所以同樣是「跑得動」,HBM 卡上的訓練配置可以少開重計算、少切分,有效吞吐的差距常比帳面算力差距更大,這是規格表之外的第二層效能。至於多卡互連那一維,顯存與互連的等級通常綁在一起,HBM 卡才配得上 NVLink 級的高速互連,這是平台層級的差距,不是單一零件的差距。實務上,把模型從消費卡搬上資料中心卡最常見的驚喜,不是單卡變快,而是整個訓練配方都能重新展開,批次、精度、並行方式一起鬆綁。

為什麼 HBM 貴 5 倍以上:成本結構拆解

HBM 的貴不是品牌溢價,是物理成本。TSV 堆疊製程的良率天生比平面顆粒低,一層出問題整個堆疊報廢;矽中介層需要 CoWoS 這類 2.5D 先進封裝,產能長期供不應求,而全球主要產能就在台灣的台積電手上,竹南與中科的先進封裝廠排單排到一年後,是這波 AI 供應鏈裡台灣最硬的環節之一。供應端 SK 海力士、三星、美光三家分食,議價權在賣方,單 GB 成本是 GDDR 的 5 到 8 倍,反映到整卡價格就是 H100 對 RTX 5090 的十倍身價差。

對租用者的實際意義:你付的月租裡,顯存成本佔比越來越高,所以「租對顯存等級」就是最大的省錢槓桿。用 HBM 卡跑 8B 模型是燒錢,用 GDDR 卡硬撐 70B 服務是自虐,兩種錯配都比比皆是。

這個成本結構也決定了租金走勢:GDDR 卡的租金跟著消費市場供需走,世代交替時跌得快;HBM 卡的租金底部被顯存與封裝成本撐著,跌幅平緩。2024 到 2026 年 H100 月租回落三到四成,但再往下的空間有限,因為硬體成本擺在那裡。台灣租賃市場的報價大致就反映這條線:GDDR 卡月租一萬五到八萬,HBM 卡八萬起跳,中間幾乎沒有過渡帶,顯存陣營就是分水嶺。對租方的啟示:等 HBM 卡「跳樓價」不如把現有負載的顯存等級配對好,前者等不到,後者立刻省。

功耗這條軸也值得補上,因為它同樣是顯存技術決定的。以每單位頻寬的能耗計,堆疊式記憶體的效率明顯優於平面顆粒:訊號距離短、驅動電壓低,同樣搬一份資料,吃的電少一截;平面顆粒把速率推到極限的代價,就是記憶體子系統的功耗與發熱節節上升,消費卡的顯存溫度常常比核心還難壓。反映到營運面:資料中心卡雖然單卡功耗高,但按「每產出一個 token 的電費」計,大顯存高頻寬的卡反而省電,長期高負載的服務,這筆電費差一年下來也是五位數起跳。另外企業場景在意的錯誤修正能力,HBM 與工作站級顯存都有支援,消費卡則無,長時間任務的穩定性差距就藏在這裡。把功耗、穩定性、頻寬三件事放在一起看,顯存陣營的選擇其實是整個維運成本結構的選擇,這也是我們把它稱作選型第一分水嶺的原因。

選型實務:一個台灣電商的兩段式配置

桃園一家電商平台的 AI 團隊是很好的教材。他們有兩個負載:商品推薦與客服。推薦系統用的是 8B 級模型加檢索,延遲要求 200ms 內,尖峰每秒 40 個請求;客服則要 70B 級模型撐住品質,上下文動輒 16K。團隊最後的配置是分開租:推薦服務用兩台 RTX 5090 主機(月租合計約 NT$64,000),GDDR7 的 1,792GB/s 跑 8B 模型綽綽有餘,每台理論上限破百 tokens/s;客服用一張 H100 跑 FP8 70B(月租約 NT$110,000),HBM3 的容量與頻寬缺一不可。

如果他們圖管理方便全部上 H100,月租要多出約 NT$150,000,推薦服務的頻寬利用率卻不到四成;反過來全用 5090,客服模型根本載不進去。按負載拆開配置,一年省下的租金超過 NT$180 萬。這就是看懂顯存規格的現金價值:規格表不是拿來背的,是拿來對帳的。

想知道自己現在是不是頻寬瓶頸,兩個指標一看就懂:DCGM 的記憶體頻寬使用率長期在八成以上、而 SM 使用率反而不滿,就是典型的頻寬綁定;反過來 SM 滿載、頻寬還有餘裕,升級高頻寬卡不會有等比回報。花一週把這兩條曲線收集起來,再對照本文的規格表選卡,你的租金每一塊都會花在瓶頸上。這套量測方法在雲端與在地主機上都適用,搬家前後各跑一次,還能順便驗收新環境的真實效能。

GDDR7 vs HBM 顯存怎麼分?一張圖看懂 GPU 記憶體對 AI 效能的影響
▲ 模型大小 × tokens/s = 所需頻寬

找台灣在地的 GPU 主機夥伴

顯存等級對不對,決定了你每個月的租金是投資還是浪費。戰國策集團的 GPU 主機服務同時提供 GDDR7 陣營的 RTX 系列與 HBM 陣營的 NVIDIA H100 等級機種,台灣機房低延遲、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。把你的模型大小、延遲要求與併發數丟給顧問,幫你算出頻寬需求再對卡,不多付一塊冤枉錢:官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m、免費專線 0800-003-191。

常見問題 FAQ

GDDR7 和 HBM 最核心的差別是什麼?

構造決定一切:GDDR7 是獨立顆粒平面焊在電路板上,位寬最多 512-bit,RTX 5090 達 1,792GB/s;HBM 是 8 至 12 層 DRAM 垂直堆疊、經矽中介層直連 GPU,位寬數千 bit,H100 的 HBM3 達 3,350GB/s、H200 的 HBM3e 達 4,800GB/s。頻寬差 2 至 4.5 倍,成本差 5 倍以上,容量上限也完全不同。一句話記憶:GDDR 是把單線道開到極速,HBM 是直接蓋四十線道,工程哲學完全不同。

為什麼大模型推論這麼吃記憶體頻寬?

因為每產生一個 token,GPU 都要把模型權重從顯存完整讀一遍。理論吞吐約等於頻寬除以模型大小:8B FP16 模型(16GB)在 1,008GB/s 的 4090 上限約 63 tokens/s,在 3,350GB/s 的 H100 上約 209 tokens/s。低批次推論時算力大多在等資料,頻寬才是天花板,這也是規格表上最該先看的數字。

GDDR7 比 GDDR6X 進步多少?

單腳位速率從 21Gbps 提升到 28Gbps 以上,並改用 PAM3 編碼,同樣 512-bit 位寬下頻寬從 1,008GB/s 跳到 1,792GB/s,增幅 78%。反映在負載上:RTX 5090 對 4090 的 LLM 推論快 1.5 至 1.8 倍、影像生成快 1.35 至 1.6 倍,增幅遠大於算力差距的三成,頻寬紅利是主因。對照月租只貴四到六成,吃頻寬的負載升級 5090,每元效能反而更高。

HBM 為什麼這麼貴?

三個成本疊加:TSV 垂直堆疊良率低,一層瑕疵全堆疊報廢;需要 CoWoS 等 2.5D 先進封裝,全球產能集中在台積電且長期滿載;供應商只有 SK 海力士、三星、美光三家,賣方市場。單 GB 成本是 GDDR 的 5 至 8 倍,這是 H100 售價與租金比消費卡高一個量級的結構性原因,短期內不會改變。

多大的模型就必須用 HBM 卡?

以生產級服務為界:量化後權重超過 30GB(約 70B 的 4-bit 或 34B 的 FP8)就該上 HBM 卡,因為 GDDR 卡最大 96GB 的 RTX PRO 6000 雖裝得下 70B 量化版,但頻寬在高併發下吃緊;上下文超過 32K 的長文本應用,KV cache 動輒數十 GB,更是 HBM 的主場。14B 以下模型用 GDDR7 卡,每元效能反而更好。

影像生成該選 GDDR7 還是 HBM?

絕大多數選 GDDR7。Stable Diffusion XL、Flux.1 這類模型在 12B 上下,32GB 的 RTX 5090 全載綽綽有餘,出圖速度比 4090 快 1.35 至 1.6 倍,月租僅 NT$25,000 至 40,000。影片生成模型對容量與頻寬更貪,需求大的工作室再考慮 96GB 的 RTX PRO 6000;租 H100 跑文生圖屬於高射砲打蚊子。若同時要跑影片生成與 LLM 服務,建議分開租不同等級的卡,硬用一張大卡通常兩頭不討好。

KV cache 到底吃多少顯存?

隨模型架構、上下文與併發線性成長。以 GQA 架構的 70B 模型為例,單序列 128K 上下文約吃 35 至 45GB;若要同時服務 10 路 32K 上下文,cache 需求就約 90 至 110GB。這解釋了 H200 的 141GB 為何搶手:裝完 70GB 的 FP8 權重還剩約 70GB 給 cache,長上下文併發能力是 80GB 卡的六倍以上。

頻寬和算力,規格表該先看哪個?

推論看頻寬,訓練看兩者。簡單心算:模型大小乘以目標 tokens/s,得出需要的頻寬;例如 16GB 模型要 100 tokens/s,就需要 1,600GB/s 以上,GDDR7 剛好及格。若算出來超過 2,000GB/s 就進 HBM 選區。訓練另需看容量(全參數微調每參數約 16 至 18 bytes)與多卡互連,單看任何一個數字都會選錯。

台灣的 HBM 供應鏈扮演什麼角色?

關鍵中的關鍵。HBM 與 GPU 的整合仰賴 CoWoS 先進封裝,全球主要產能在台積電,擴產速度直接決定 H100、H200、B200 的全球出貨量;2024 至 2026 年 CoWoS 產能翻了一倍以上仍供不應求。對台灣用戶的實際影響是:在地整機供應與維修體系成熟,租用市場的機種更新速度不輸國際主要市場。

下一代顯存會怎麼走,現在租卡要考慮嗎?

方向明確:HBM3e 之後的 HBM4 預計把單堆疊頻寬再翻倍,B200 已用 192GB HBM3e 達 8TB/s;GDDR7 則會往 3GB 顆粒發展,消費卡容量可望到 48GB。對租用者的建議是別為未來規格付今天的溢價,月租制的彈性就是拿來對沖世代更迭的,6 至 12 個月合約、需求到了就轉租新卡,比一次押注划算。

Share this
14 7 月 2026

SXM5 和 PCIe 版 GPU 差在哪?NVLink 多卡互連對訓練速度的真實影響

💡 快速答案:SXM5 版和 PCIe 版 GPU 到底差在哪裡?

差在封裝、功耗與互連三件事。以 H100 為例:SXM5 版直接焊在 HGX 基板上,TDP 開到 700W,顯存頻寬 3,350GB/s,並透過 NVLink 與 NVSwitch 提供任兩卡 900GB/s 的全互連;PCIe 版是標準插卡,TDP 350W、頻寬約 2,000GB/s,卡間主要走 PCIe 5.0 的 128GB/s,約為 NVLink 的七分之一。單卡推論兩者體驗接近,PCIe 便宜三到五成更划算;4 卡以上的分散式訓練與張量並行,SXM 的擴展效率高出兩到三成,規模越大差距越明顯。租用前用 nccl-tests 實測互連頻寬,是最保險的驗收動作。

租 GPU 主機時,很多人盯著「H100」三個字看,卻沒注意後面跟的是 SXM5 還是 PCIe,結果同樣的預算租到的效能差了三、四成。這兩個版本用的是同一顆晶片,但封裝形式、功耗上限、以及最關鍵的卡間互連完全是兩個世界。這篇把差異拆到底,並且用分散式訓練的通訊模式,講清楚 NVLink 到底在什麼時候值錢、什麼時候是你付了錢也用不到的裝飾品。先給結論:互連規格的錢,只有在卡與卡需要頻繁交換資料的時候才花得有意義,而你的工作負載話多話少,是可以量出來的;文末附上驗證指令,照著做,十分鐘就能確認你租到的互連是不是真材實料。

封裝與供電:插卡與焊板的本質差異

PCIe 版就是大家熟悉的插卡:插進標準伺服器的 PCIe 插槽,吃插槽加外接電源的供電,H100 PCIe 的 TDP 上限是 350W,散熱靠伺服器風道解決,好處是任何規格相容的機器都能裝,部署彈性最大。SXM5 版則是一塊直接鎖在 HGX 基板上的運算模組,沒有插槽的供電與尺寸限制,TDP 直接開到 700W,搭配大面積散熱器或液冷冷板,時脈與持續輸出都比插卡版高一截。

功耗差一倍,效能自然有感:同樣是 H100,SXM5 的 FP16 算力約 990 TFLOPS(dense),PCIe 版約 756 TFLOPS,差距約三成;顯存頻寬 3,350GB/s 對 2,000GB/s,差距四成。所以就算完全不談多卡互連,SXM 版的單卡輸出就已經領先,只是這個領先要用整機租賃的價格去換。

散熱行為的差異也很實際:PCIe 插卡在標準伺服器風道裡,長時間滿載常在功耗牆與溫度牆之間擺盪,時脈會小幅波動;SXM 模組配大面積冷板或液冷,持續輸出穩定,長訓練的每一步時間幾乎不抖。跑基準測試五分鐘看不出差別,連續跑三週的訓練就會在總時程上顯現。台灣夏季機房的進風溫度普遍偏高,氣冷伺服器的降頻風險又比溫帶市場明顯一些,長訓練的團隊要把這個在地變數放進評估。

項目 H100 SXM5 H100 PCIe
部署形式 HGX 基板直焊模組 標準 PCIe 插卡
TDP 700W 350W
FP16 算力(dense) 約 990 TFLOPS 約 756 TFLOPS
顯存頻寬 3,350GB/s(HBM3) 約 2,000GB/s(HBM2e)
卡間互連 NVLink 900GB/s、NVSwitch 全互連 PCIe 5.0 約 128GB/s,兩卡可橋接 600GB/s
台灣租金相對水位 貴 30% 至 50%(整機攤提) 基準
SXM5 和 PCIe 版 GPU 差在哪?NVLink 多卡互連對訓練速度的真實影響
▲ NVLink 全互連頻寬是 PCIe 5.0 的 7 倍,多卡訓練的命脈

NVLink 900GB/s 對 PCIe 128GB/s:7 倍差距發生在哪裡

先把數字校準。PCIe 5.0 x16 的雙向頻寬約 128GB/s;第四代 NVLink 給每張 H100 提供 900GB/s 的雙向互連頻寬,7 倍差距。更關鍵的是拓撲:HGX 平台上 4 顆 NVSwitch 讓 8 張卡形成全互連,任兩卡之間都是 900GB/s,而且不經過 CPU 與系統記憶體;PCIe 平台上多卡通訊要走 PCIe 交換器或跨 NUMA 節點,實際可用頻寬常常比帳面更低。PCIe 版可以用 NVLink 橋接器補救,但僅限兩張卡一組、600GB/s,四卡以上就無解。

這 7 倍差距不是永遠都痛。單卡推論完全用不到卡間頻寬;模型放得進單卡的訓練也幾乎無感。它痛在「卡與卡必須頻繁交換大量資料」的時刻,而這正是分散式訓練的日常。

這裡補一個常被搞混的觀念:NVLink 解決的是「GPU 對 GPU」的直達路徑,傳統 PCIe 架構下,跨卡資料常要繞經 CPU 與系統記憶體,一來一回延遲翻倍;NVSwitch 再把直達路徑升級成全互連交換網,8 張卡彼此等距。所以 SXM 平台的優勢不只頻寬數字,還有延遲與拓撲的一致性,NCCL 的集合通訊在等距拓撲上排程效率最高,這部分的收益疊在 7 倍頻寬之上。實測上,8 卡 all-reduce 的有效頻寬(busbw)在 SXM 平台可以跑到 400GB/s 以上,純 PCIe 平台常見 20 至 60GB/s,量級差距肉眼可辨。

三種並行策略,三種吃頻寬的方式

資料並行(DP)是最普遍的模式:每張卡拿完整模型副本、各跑一份資料,每個 step 結束要做梯度 all-reduce。7B 模型的梯度量約 14GB,8 卡 ring all-reduce 的有效交換量約 24GB:在 PCIe 上這輪通訊要 0.2 至 0.4 秒,NVLink 上只要 0.03 至 0.05 秒。如果每 step 的計算時間是 1 秒,通訊佔比就是「25% 對 4%」的差距,訓練越久這筆稅越重,即使框架做了計算與通訊重疊,也只能遮掉一部分。

張量並行(TP)更殘酷:單層權重被切到多張卡上,每一層的前向與反向都要做 activation 的 all-reduce,通訊頻率是每層一次而不是每 step 一次。這種模式在 PCIe 上基本不能用,效率崩到五成以下;NVLink 域內的 TP 才是可行解,這也是為什麼 70B 以上模型的訓練與高效推論幾乎都綁定 SXM 平台。管線並行(PP)最省頻寬,只在階段交界傳 activation,PCIe 平台想跑大模型,PP 加 ZeRO 是相對務實的組合,代價是氣泡時間與調校複雜度。

收斂成經驗數字:8 卡資料並行訓練,SXM 平台的擴展效率通常有 90% 至 95%,PCIe 平台依模型大小落在 65% 至 85%;帶 TP 的大模型訓練,兩者差距會再拉大。付 SXM 溢價前,先確認你的並行策略真的吃得到這個頻寬。

用 ZeRO 家族補完這張地圖:ZeRO-1 只切優化器狀態,通訊量與一般資料並行相當;ZeRO-2 加切梯度,通訊量約 1.5 倍;ZeRO-3 連權重都切,每步通訊量直接翻倍以上,對互連頻寬最敏感。很多團隊在 PCIe 平台上開 ZeRO-3 硬跑大模型,速度掉到連一半都不到,這不是框架的錯,是把高通訊策略放在低頻寬管道上的必然結果。順序應該是先估通訊量、選定並行策略,再決定租哪種平台,而不是先租了再想怎麼榨出效能;策略與硬體要成對選,單獨升級任何一邊都是浪費。

什麼時候 PCIe 版就夠:別為用不到的頻寬付錢

三種場景 PCIe 版是明確的正解。一,單卡推論與微調:模型放得進 80GB,卡間頻寬是零需求,PCIe 版租金便宜三到五成,每一塊錢都花在運算本體上。二,雙卡張量並行推論:70B FP8 模型用兩張 PCIe 卡加 NVLink 橋接(600GB/s)就能服務,推論的通訊量比訓練小一個量級,橋接頻寬綽綽有餘。三,多個獨立工作負載:四張 PCIe 卡各跑各的服務,彼此不通訊,全互連毫無用武之地,租 SXM 整機純屬浪費。

價差的絕對值也幫你算好:4 張 H100 PCIe 的月租約 NT$40 萬上下,而 8 卡 SXM 整機月租 NT$70 萬起跳,就算只用其中 4 卡的算力,攤提也要 NT$35 萬以上,還綁著你用不到的另外 4 卡。工作負載彼此獨立的公司,租 PCIe 配置一年可以省下六到七位數的租金,這筆錢拿去養半個工程師都有找。當然,如果半年後你的路線圖上會出現 34B 以上的訓練,提前選 SXM 省下的遷移成本也要放進天平,規劃期的視野比省當月租金重要。

台灣中小團隊還有一種很常見的混用型態:白天跑推論服務、夜間跑訓練或批次任務,一套硬體兩班制。這種節奏其實偏向 PCIe 陣營,因為推論本來就不吃互連,夜間訓練若是單卡放得下的模型,互連同樣閒著;把省下的租金差拿去多租一張卡,兩班制的排程還更寬鬆。要注意的只有切換紀律:推論服務要能優雅下線、訓練任務要設好資源上限,避免早上八點訓練還沒跑完、客服系統起不來的窘境。這種型態在台灣的接案公司與新創特別普遍,一套硬體的使用率能拉到七成以上,攤提下來最划算。工具面用容器加簡單的排程腳本就夠,不需要為此上一整套叢集管理系統。

判斷公式簡化成三個問題:模型是否大於單卡顯存?需要張量並行訓練嗎?通訊時間佔比是否超過 15%?三題有兩題答「是」,就上 SXM;全部「否」,PCIe 版把省下的預算拿去升級儲存或多租一張卡,效益高得多。把這三個問題寫進採購流程的第一頁,每次擴充算力前重新回答一次,硬體預算的浪費率會肉眼可見地下降。順帶提醒,完整的 8 卡 SXM 主機長什麼樣子、電力與租金怎麼算,可以接著看 8-GPU 主機架構全解析。

台灣租金差距與兩個在地案例

台灣 2026 年的行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000;SXM 版以 HGX 整機出租為主,8 卡月租 NT$700,000 至 1,200,000,攤提到單卡等於貴 30% 至 50%。案例一:高雄一家影像分析公司,訓練 ViT-L 等級的視覺模型,資料並行為主、模型單卡放得下,選了 4 張 PCIe 卡的配置,月租約 NT$400,000,擴展效率實測 82%,對他們的訓練節奏完全夠用,比租 8 卡 SXM 整機省下超過 NT$40 萬。

案例二:台北一個 LLM 團隊要對 34B 模型做全參數微調,TP=4 加 DP=2 的混合並行,一開始貪便宜用 PCIe 平台,單 step 時間比預期慢 55%,換到 SXM 整機後訓練時程從估計的 31 天壓到 19 天,多付的租金差被提早 12 天交付的價值蓋過去。兩個案例放在一起看結論就很清楚:版本沒有絕對好壞,對齊並行策略才是省錢的本體。想自己驗證通訊佔比,工具鏈很現成:PyTorch Profiler 看 NCCL kernel 的時間佔比,nsys 拉時間軸看計算與通訊的重疊程度,DCGM 監控 NVLink 或 PCIe 的實際流量。量測一個典型訓練日,通訊佔比低於 10%,你就是 PCIe 平台的目標客群;高於 20%,SXM 的溢價會用時間還給你。用數據做決定,比聽任何供應商的說法都可靠。選型拿不準的話,H100 租用指南有更完整的卡數與版本對照。

租用前的四個確認動作

第一,要求供應商白紙黑字寫明版本與形態:SXM5 或 PCIe、幾卡、有無 NVSwitch,「H100 主機」四個字的資訊量是零。第二,多卡配置要求提供 nccl-tests 的 all-reduce 實測數據,8 卡 SXM 的 busbw 應該要在 400GB/s 以上量級,PCIe 平台常常只有幾十 GB/s,一跑就現形。第三,確認 PCIe 平台的拓撲:卡是不是都掛在同一顆 CPU 下、有沒有跨 NUMA,這對通訊效率的影響可達兩成。第四,問清楚升級路徑:從 PCIe 換 SXM 是否能轉約、資料搬遷誰負責,把未來的擴展成本先鎖住。這四個動作花你半天,省下的可能是每月六位數的錯配租金。多說一句合約面:台灣市場上「H100 主機」的報價從 NT$8 萬到 NT$15 萬都有,價差的大宗就是版本與互連配置,而不是誰比較佛心。把四個確認動作走完,你就有足夠的資訊判斷報價合不合理;供應商若對 nccl-tests 的要求支支吾吾,直接換一家,這個測試對正常機房是舉手之勞。

SXM5 和 PCIe 版 GPU 差在哪?NVLink 多卡互連對訓練速度的真實影響
▲ SXM5 與 PCIe 的分水嶺

找台灣在地的 GPU 主機夥伴

版本選擇的本質是把錢花在自己用得到的頻寬上,而這需要有人跟你一起看工作負載。戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列、單卡到多卡整機的配置,台灣機房低延遲、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。把你的模型規模與並行策略告訴顧問,直接幫你對出最省的版本組合:官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m、免費專線 0800-003-191。

常見問題 FAQ

SXM 和 PCIe 版的效能差多少?

以 H100 為例,單卡就有差:SXM5 的 TDP 700W 對 PCIe 350W,FP16 算力約 990 對 756 TFLOPS(差三成),顯存頻寬 3,350 對 2,000GB/s(差四成)。多卡場景差距再放大:NVLink 900GB/s 對 PCIe 5.0 的 128GB/s,8 卡訓練擴展效率約 90% 至 95% 對 65% 至 85%。選擇邏輯很直接:單卡或互不通訊的多服務選 PCIe,省三到五成租金;四卡以上的分散式訓練選 SXM,時間才是最大的成本。

NVLink 的 900GB/s 是怎麼來的?

第四代 NVLink 每條鏈路雙向 50GB/s,H100 配置 18 條,合計 900GB/s;搭配 HGX 基板上的 4 顆 NVSwitch,8 張卡形成任兩卡皆 900GB/s 的全互連,不經過 CPU。對照 PCIe 5.0 x16 的雙向約 128GB/s,頻寬差 7 倍,而且 PCIe 還要與其他裝置共享通道,實際差距常更大。這也是多卡訓練在 SXM 平台能把擴展效率穩在九成以上的底層原因。

什麼工作負載一定要 SXM 平台?

兩類:一是張量並行的訓練與推論,例如 70B 以上模型的全參數微調,每層都要跨卡交換 activation,PCIe 頻寬下效率崩到五成以下;二是通訊佔比高的大規模資料並行,例如 8 卡以上、每 step 梯度交換數十 GB 的場景。訓練時程直接影響商業價值的專案,SXM 貴出的三到五成通常划算。

PCIe 版 H100 可以用 NVLink 嗎?

可以,但有限制:透過 NVLink 橋接器讓兩張卡形成 600GB/s 的點對點互連,僅支援成對配置,無法做到 4 卡或 8 卡全互連。這個配置對雙卡張量並行推論很實用,例如 70B FP8 模型的服務;但要做 4 卡以上的高效訓練,只有 SXM 加 NVSwitch 的架構做得到。

資料並行訓練在 PCIe 平台會慢多少?

取決於模型大小與 step 時間。以 7B 模型 8 卡為例,每 step 梯度 all-reduce 的有效交換量約 24GB,PCIe 上耗時 0.2 至 0.4 秒,NVLink 上 0.03 至 0.05 秒;若計算時間 1 秒,擴展效率大約是 75% 對 95%。模型越大、卡數越多,PCIe 的通訊稅越重,30B 級以上通常不建議硬跑。計算與通訊重疊做得好可以遮掉部分開銷,但遮不掉量級差距,這是物理限制。

單卡使用有必要選 SXM 嗎?

通常不必。單卡推論與微調用不到卡間互連,PCIe 版租金便宜三到五成,是明確更優的選擇;SXM 單卡輸出雖高三成,但以每元效能計算反而較差。例外是需要極致單卡吞吐、且機房已有 HGX 整機的場景。預算有限時,把 SXM 的差價拿去升級 NVMe 或加租一張 PCIe 卡,效益更高。

台灣租 SXM 和 PCIe 的價差是多少?

H100 PCIe 單卡主機月租約 NT$80,000 至 130,000;SXM 幾乎都以 HGX 8 卡整機出租,月租 NT$700,000 至 1,200,000,攤到單卡貴 30% 至 50%。SXM 整機通常綁高規儲存與 InfiniBand 網路,價差有一部分反映在配套上;預算試算時建議用「每卡有效吞吐」比價,而不是每卡標價;有效吞吐的量測基準用 nccl-tests 的 busbw,比帳面規格誠實得多。

怎麼驗證租到的多卡主機互連沒問題?

上機第一件事跑 nccl-tests 的 all_reduce_perf:8 卡 SXM 平台的 busbw 應在 400GB/s 以上量級,兩卡 NVLink 橋接約 500GB/s 上下,純 PCIe 平台常只有 20 至 60GB/s。再用 nvidia-smi topo -m 確認拓撲,看到 NV18 代表 NVLink 全連,只有 PIX 或 NODE 就是走 PCIe。這兩個指令十分鐘做完,能避開九成的互連地雷。若供應商無法配合提供這兩項數據,合理懷疑平台配置有問題,換一家詢價不會吃虧。

張量並行和資料並行對頻寬的需求差在哪?

資料並行每個 step 通訊一次,交換量等於梯度大小,頻寬需求中等,可與計算重疊;張量並行每一層前向與反向都要 all-reduce activation,通訊頻率高數十倍且難以完全重疊,對延遲與頻寬都極度敏感。所以業界慣例是 TP 只在 NVLink 域內做(單機 8 卡內),跨機才用 DP 或管線並行。

A100 的 SXM 版也是同樣的邏輯嗎?

邏輯相同,數字不同。A100 SXM4 的 NVLink 是 600GB/s,PCIe 4.0 x16 約 64GB/s,差距約 9 倍;TDP 是 400W 對 300W,算力差距約 10% 至 25%,比 H100 世代的版本差距小。A100 的租金已跌到單卡月租 NT$40,000 至 70,000,預算型多卡訓練選 A100 SXM 整機,常是被忽略的高 CP 值組合,4 卡整機月租約 NT$20 萬出頭就談得到,訓練型負載幾乎都值得補這個差價。

Share this
14 7 月 2026

H200 是什麼?HBM 顯存 141GB 的怪物級 GPU,哪些工作負載真的需要它?

💡 快速答案:NVIDIA H200 和 H100 差在哪裡,誰需要它?

H200 與 H100 用同一顆 Hopper 核心,算力規格相同,差別全在記憶體:HBM3e 141GB 對 80GB(多 76%)、頻寬 4.8TB/s 對 3.35TB/s(多 43%)。大模型推論這種頻寬綁定的負載,H200 快 1.4 至 1.9 倍,且 70B 模型 FP8 單卡就放得下,省掉跨卡並行的成本;訓練場景提升僅一成上下。台灣租金比 H100 貴約 20% 至 35%,長上下文、高併發推論的團隊付這筆溢價最划算,訓練為主的團隊租 H100 就好。供貨自 2025 下半年起穩定,台灣已有整機現貨可租。

H200 常被誤會成 H100 的下一代,其實它是「同一顆引擎、換更大油箱」的升級版:GPU 核心與 H100 完全相同,算力規格一個數字都沒變,變的是記憶體,141GB 的 HBM3e、4.8TB/s 的頻寬,分別比 H100 多 76% 與 43%。聽起來像小改款?對訓練來說是,對大模型推論來說卻是質變。這篇講清楚 H200 到底解決什麼問題、實測快多少、台灣租金貴多少,以及最重要的:你的工作負載到底需不需要它。先破題:H200 對推論重的團隊是效率倍增器,對訓練重的團隊是溢價陷阱,同一張卡兩種評價都對,差別只在你的負載形狀。

H200 是什麼:規格上的一句話總覽

H200 採用與 H100 相同的 Hopper 架構 GH100 核心,FP8 約 1,979 TFLOPS、FP16 約 990 TFLOPS(dense)的算力規格完全一致,NVLink 一樣是 900GB/s,TDP 一樣是 700W,同樣以 HGX 8 卡整機為主要形態。唯二的改變:顯存從 80GB HBM3 換成 141GB HBM3e,頻寬從 3,350GB/s 拉到 4,800GB/s。一台 HGX H200 8 卡整機的總顯存來到 1,128GB,首次讓「單機塞進 400B 級模型」變成日常。

項目 H100 SXM5 H200 SXM 差距
架構 / 算力 Hopper / FP8 約 1,979 TFLOPS 相同 0%
顯存 80GB HBM3 141GB HBM3e +76%
記憶體頻寬 約 3,350GB/s 約 4,800GB/s +43%
NVLink 900GB/s 900GB/s 0%
TDP 700W 700W 0%
8 卡整機總顯存 640GB 1,128GB +76%

看懂這張表就看懂 H200 的定位:它不是拿來「算得更快」,是拿來「裝得更多、餵得更飽」。你的瓶頸如果在算力,H200 幫不上忙;瓶頸在顯存容量或頻寬,它就是目前 Hopper 家族的頂規解。

一個規格冷知識順帶解惑:H200 的 141GB 看起來是個怪數字,因為它實體上是六顆 24GB 的 HBM3e 堆疊、共 144GB,保留部分容量作為良率與穩定性裕度後,開放給使用者的就是 141GB。這個設計也透露了 HBM 供應的緊張程度,每一顆堆疊都被壓榨到極限;供應商以 SK 海力士與美光為主,產能到 2026 年都還是賣方市場。對租用者的意義是,H200 的價格不太可能出現 A100 那種雪崩,供需結構撐著,議價要靠合約長度而不是等跌價。

H200 是什麼?HBM 顯存 141GB 的怪物級 GPU,哪些工作負載真的需要它?
▲ 顯存比 H100 多 76%、頻寬多 43%,大模型推論快 1.4-1.9 倍

141GB 為什麼是分水嶺:用顯存帳算給你看

拿最主流的 70B 級模型當例子。FP8 精度的權重約 70GB:H100 的 80GB 裝下權重後只剩 10GB 出頭給 KV cache,併發一高就見底,實務上得靠 2 卡張量並行;H200 裝完權重還剩約 70GB,KV cache 的空間直接翻六倍,單卡就能撐起像樣的生產服務。再往上,110B 級模型 4-bit 量化後約 60GB,H200 單卡輕鬆;甚至 Llama 405B 的 FP8 版本,8 卡 H200 整機(1,128GB)不用跨機就放得下,H100 整機(640GB)就得動用兩台。

長上下文是另一個主戰場。KV cache 的量隨上下文長度線性成長,70B 級模型(GQA 架構)在 128K 上下文時,單一序列的 cache 就要吃掉 35 至 45GB。做長文件分析、程式碼庫理解、多輪對話記憶這類應用,顯存不夠的症狀不是變慢,是直接拒絕服務或瘋狂重算。141GB 的意義就在這裡:把「上下文長度乘以併發數」的天花板拉高一倍以上。HBM 顯存為什麼對這類負載如此關鍵,可以配著 GDDR7 與 HBM 的對照解析一起讀。

把 KV cache 的帳再算細一點:GQA 架構的 70B 模型,每 1K token 的 cache 約 300 至 350MB,32K 上下文單序列約 10 至 11GB,128K 就是 40GB 上下。用 H100 跑 FP8 70B,裝完權重剩 10GB 出頭,等於一路 32K 就滿了;H200 剩約 70GB,同樣條件能撐六到七路,或單路開到極限上下文。這不是效能差幾成的問題,是產品能不能開這個規格的問題。如果你的路線圖上寫著「支援整本文件上傳」或「Agent 長工作流」,這筆容量帳建議現在就算,等撞牆再換卡,遷移的急迫性會讓你付出更差的議價條件。

實測數字:推論快 1.4 至 1.9 倍,訓練只快一成

公開基準與部署經驗給出一致的圖像:Llama 70B 級推論,H200 的吞吐是 H100 的 1.4 至 1.9 倍,上下文越長、批次越大,領先越明顯,因為這是純粹的頻寬與容量遊戲;175B 級模型約 1.6 倍。反觀訓練場景,瓶頸多半在算力與卡間通訊,而這兩項 H200 與 H100 完全相同,實測提升通常只有 10% 至 15%,來自資料搬運的邊際改善。

換句話說,H200 的溢價買的是「推論吞吐與模型容量」,不是「訓練速度」。這個結論直接決定花錢策略:推論服務量大的公司,H200 每 token 成本可以比 H100 低兩到四成,溢價很快賺回來;訓練為主的團隊,同樣預算多租幾張 H100 比升級 H200 有效得多。HPC 領域另計,CFD、氣象模擬這類記憶體頻寬敏感的科學運算,H200 可以看到 1.3 至 1.9 倍的改善,是被行銷聲量埋沒的受益者。

MoE 模型是另一個放大鏡:以 8x22B 這類架構為例,單次推論啟用的參數雖然只有 40B 上下,但全部專家權重都得住在顯存裡,FP8 也要 140GB 上下,H100 單卡直接出局,H200 剛好一卡收下。隨著 2025 年後開源模型大量走向 MoE 路線,141GB 的實用價值比帳面又高了一截;還有一個常被問的組合:同預算下「一台 HGX H200」對「一台半 HGX H100」怎麼選?訓練密集選後者,算力總量大;推論與長上下文選前者,單卡容量才是硬通貨。

把推論的成本帳算一次給你看。假設要服務一個尖峰三十路併發、平均上下文三萬字符的七十億參數級應用:H100 方案需要兩卡張量並行,月租抓二十二萬,還要付出跨卡通訊的效率折損與較複雜的部署;H200 方案單卡搞定,月租抓十五萬,吞吐反而高出兩到三成。換算下來,每百萬 token 的算力成本,H200 方案大約只有 H100 雙卡方案的六成,溢價買的容量在這種負載形狀下,回收速度比多數人直覺想的快。反過來,如果同樣預算拿去跑訓練,H200 的帳就完全不成立,這也呼應前面的判斷:先弄清楚自己的負載形狀,再決定要不要付這筆錢。

誰真的需要 H200:三種對號入座的負載

第一種:長上下文 RAG 與文件智能。法律合約審閱、財報分析、程式碼庫問答這類動輒 64K 至 128K 上下文的應用,KV cache 是吃顯存的主力,H200 單卡能做到 H100 要兩卡並行才有的服務水位,架構簡單一截,故障點也少一半。第二種:70B 至 110B 模型的高併發生產服務,141GB 讓你在單卡上同時塞進權重與大批次 KV cache,tokens/s 與延遲表現都明顯占優。第三種:MoE 混合專家模型,參數總量大但啟用稀疏,容量比算力重要,天生是 H200 的形狀。

反過來,三種人不需要:模型在 34B 以下的(H100 甚至更便宜的卡就綽綽有餘)、以訓練為主要負載的(把預算投在卡數而非單卡容量)、以及預算敏感的初創驗證期團隊(先用 H100 租用方案驗證商業價值,再決定要不要為效能付溢價)。

自測三題:一,你的服務是否經常跑 32K 以上的上下文?二,尖峰併發乘以上下文長度,KV cache 是否會超過 10GB?三,模型規模是否在 70B 以上或走 MoE 架構?三題中兩題為是,H200 的溢價就回收得快;三題全否,把錢留給 H100 或更便宜的卡,半年後再重新評估也不遲。順帶一提,34B 以下的模型就別湊熱鬧了,RTX PRO 6000 的 96GB 加上月租 NT$55,000 起的價位,把這個級距的性價比守得死死的。

台灣租用行情與供貨現況

價格面,2026 年台灣市場 H200 的租金比同配置 H100 高約 20% 至 35%:8 卡 HGX H200 整機月租大致落在 NT$900,000 至 1,500,000 的區間,單卡形態的選擇比 H100 少,因為 H200 幾乎都以 SXM 整機形式流通。供貨面反而是好消息:Blackwell 吸走了超大型買家的訂單,H200 在 2025 下半年開始供需鬆動,台灣在地業者陸續有現貨機位,交期從過去的口頭排隊變成數週內可上線。合約長度的建議跟 H100 不太一樣:H200 的租金曲線還在高原期,B200 世代在台灣鋪開後才會有明顯下修,所以 12 個月內的合約都算安全;真的要簽長約,把「租期內免費升級同級新卡」的選項談進去,供應商在去化舊機的壓力下,這條其實不難談成。另外,台灣的 H200 機源以 8 卡整機為主,想要 2 卡、4 卡的彈性配置,選擇比 H100 少,詢價時多留兩週前置時間。

台灣情境還有一筆帳要算:電力。H200 的 TDP 與 H100 同為 700W,8 卡整機一樣是 10 至 12kW 的量級,月電費約 NT$40,000 至 55,000(含冷卻、以工業電價估),租用模式下內含於月租。也就是說,從 H100 升級 H200,電力成本不變、吞吐提升四到九成,對機房空間與供電額度吃緊的台灣企業來說,「同樣一櫃電,多一倍推論量」本身就是升級的理由之一。

實際案例:法律科技新創的單卡勝雙卡

台北一家法律科技新創,產品是合約審閱助手,核心需求是 128K 上下文讀完整份併購合約,尖峰 30 路併發。原架構是 2 張 H100 跑張量並行,月租約 NT$220,000,痛點是跨卡並行的推論框架調校吃人力,而且任一卡故障整個服務就停。改到單卡 H200 之後(月租約 NT$150,000),權重加 KV cache 全部塞進 141GB,吞吐反而比雙卡並行高出約三成,因為省掉了卡間通訊的開銷;月租省 NT$70,000,架構簡化省下的維運時間是額外賺到的。

這個案例的通用教訓:當你的服務規模剛好卡在「H100 單卡不夠、兩卡才夠」的尷尬區間,H200 單卡經常是總成本更低的解,把「用更多卡」和「用更大的卡」兩個方案都拿出來試算,答案常常反直覺。遷移過程也給個現實參考:他們從雙卡 H100 換到單卡 H200,vLLM 設定拿掉張量並行參數、重新校準 FP8 的 KV cache 配置,加上迴歸測試總共花了兩個工作天,沒改一行業務程式碼。從多卡收斂回單卡的工程風險,比多數團隊想像的低;反方向從單卡拆成多卡才是大工程,這也是「容量買大一點」在架構上的隱形價值。

部署層面再給三個提醒。一,FP8 不是開了就好,上線前用自己的評測集跑一輪品質校準,尤其中文任務的數值敏感度和英文不完全一樣,驗證過再全量切換。二,長上下文服務的排程器設定要重調,預設參數多半為短請求優化,長請求一進來容易把整條佇列堵死,記得開啟分段預填充之類的機制。三,監控指標抓兩個就夠日常用:首字延遲與每字延遲,前者影響體感、後者影響吞吐,兩條曲線一惡化就是容量預警,比等使用者抱怨早得多。這些細節做齊,141GB 的價值才會完整變成產品體驗。

H200 是什麼?HBM 顯存 141GB 的怪物級 GPU,哪些工作負載真的需要它?
▲ H200 溢價 20-35% 付給誰

找台灣在地的 GPU 主機夥伴

H200 適不適合你的負載,一通電話的顧問對談常常比三天的網路爬文更快有結論。戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列機種,並可依需求評估 H200 等級的配置,台灣機房低延遲、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m、免費專線 0800-003-191,把你的模型與併發數字帶來,我們幫你把帳算清楚。

常見問題 FAQ

H200 的顯存規格是什麼?

141GB HBM3e,記憶體頻寬約 4,800GB/s,分別比 H100 的 80GB HBM3 與 3,350GB/s 多出 76% 與 43%。GPU 核心本身與 H100 相同,FP8 約 1,979 TFLOPS、NVLink 900GB/s、TDP 700W 都沒變。8 卡 HGX H200 整機的總顯存達 1,128GB,是目前 Hopper 家族單機容量的頂點。因為核心相同,現有 CUDA 程式與推論框架不用改就能直接遷移,升級成本主要在租金差而不是工程工時,這是它比跨代升級友善的地方。

H200 比 H100 快多少?

推論快很多,訓練快很少。Llama 70B 級推論吞吐為 H100 的 1.4 至 1.9 倍,175B 級約 1.6 倍,上下文越長領先越大;訓練因為算力與 NVLink 規格相同,提升只有 10% 至 15%。記憶體頻寬敏感的 HPC 應用如 CFD、氣象模擬,可見 1.3 至 1.9 倍改善。買它是買容量與頻寬,不是買算力。

70B 模型在 H200 上可以單卡跑嗎?

可以,而且跑得舒服。FP8 精度權重約 70GB,H200 裝完還剩約 70GB 給 KV cache,足以支撐 30 路以上併發的生產服務;H100 的 80GB 裝完權重只剩 10GB 出頭,實務上要 2 卡並行。單卡架構省掉跨卡通訊開銷與框架調校,吞吐常反超雙卡 H100,故障點也少一半。

什麼是 HBM3e,和 HBM3 差在哪?

HBM3e 是 HBM3 的增速版,單腳位速率從約 6.4Gbps 拉到 8Gbps 以上,並支援更高的單顆堆疊容量(24GB 對 16GB)。落在 H200 上的結果就是頻寬 4.8TB/s 對 3.35TB/s、容量 141GB 對 80GB。對每個 token 都要掃過全部權重的大模型推論,這兩個數字幾乎線性反映在 tokens/s 上。對照消費卡 GDDR7 的 1,792GB/s,HBM3e 的頻寬仍是 2.7 倍,量級差距沒有被追上。

H200 在台灣的租金行情如何?

比同配置 H100 貴約 20% 至 35%。8 卡 HGX H200 整機月租約 NT$900,000 至 1,500,000,單卡形態流通量少,因為 H200 幾乎都以 SXM 整機出貨。2025 下半年起供貨明顯鬆動,台灣業者陸續有機位,交期縮到數週。年約通常可談 15% 至 25% 折扣,議價空間比缺貨期大得多。想要 2 卡、4 卡彈性配置的話機源較少,建議提前詢價預留檔期。

做長上下文應用,H200 的優勢具體在哪?

KV cache 隨上下文線性成長,70B 級模型在 128K 上下文時單一序列就吃 35 至 45GB。H100 裝完權重後的剩餘空間撐不起幾路長上下文併發,H200 多出的 61GB 直接把「上下文乘以併發」的上限拉高一倍以上。法律文件審閱、程式碼庫分析、長對話記憶這類應用,體感差距是「能服務」與「不能服務」的差別。

訓練工作負載值得從 H100 升級 H200 嗎?

多數情況不值得。訓練瓶頸在算力與卡間通訊,這兩項 H200 與 H100 完全相同,實測只快 10% 至 15%,租金卻貴 20% 至 35%,每元效能反而變差。同樣預算拿去多租 H100 卡數,例如 8 卡變 10 卡,對訓練時程的幫助大得多。例外是模型大到 640GB 整機裝不下的場景,容量本身就是硬需求。

H200 和 B200 之間怎麼選?

B200 是 Blackwell 新架構,192GB HBM3e、頻寬 8TB/s,算力也大幅提升,紙面全面領先;但 2026 年供貨集中在超大雲端業者,台灣租賃市場量少價高且交期不穩。務實建議:推論需求現在就上 H200,生態成熟、隨租隨用;沒有急迫需求的可以等 B 系列在地供應穩定,預期 2027 年前後價格才會進入合理區間。

H200 的功耗和 H100 一樣嗎,機房需求有差嗎?

一樣,單卡 TDP 700W,8 卡整機滿載 10 至 12kW,需要 15kW 級高密度機櫃與對應冷卻,月電費含冷卻約 NT$40,000 至 55,000。這代表從 H100 升級 H200 不用動任何機房基礎設施,同一櫃電力換來四到九成的推論吞吐提升,對台灣供電額度吃緊的機房環境是很實際的優勢。

哪些團隊建議跳過 H200?

三類:模型 34B 以下的團隊,H100 甚至 RTX PRO 6000(96GB、月租 NT$55,000 至 85,000)就吃得下,成本低一大截;訓練為主的團隊,預算該投在 H100 卡數而非單卡容量;還在驗證商業價值的早期團隊,先用月租低的方案把產品跑起來,等併發與上下文需求真的撞牆,再升級也來得及。

延伸閱讀

Share this
14 7 月 2026

H100 主機租用完整指南:HGX 8 卡架構、NVLink 頻寬與台灣月租行情【2026】

💡 快速答案:H100 主機在台灣租用一個月要多少錢?

台灣 2026 年行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000,HGX 8 卡整機(SXM5、NVLink 900GB/s 互連)月租約 NT$700,000 至 1,200,000,年約通常再折 15% 至 25%。單卡適合 70B 以下模型推論與微調;要做 70B 級訓練或高併發生產服務,8 卡整機的 640GB HBM3 與 NVSwitch 全互連才是正解。選擇的關鍵在模型大小與卡間通訊需求,而不是預算上限。另外留意版本標示,SXM5 與 PCIe 的效能差距可達四成,報價單必須寫清楚,這是台灣市場最常見的租用糾紛來源。

問到企業級 AI 算力,2026 年的答案依然繞不開 H100。Blackwell 世代雖然已經出貨,但供應集中在超大型雲端業者,對台灣多數企業來說,H100 是「租得到、生態最成熟、工程師最熟」的主力選擇。這篇從版本差異、HGX 8 卡架構講到台灣月租行情與機房電力,目標是讓你在跟任何供應商談之前,就知道該問什麼、該付多少、哪些條款不能讓。文中的數字來自 2026 年上半年台灣市場的實際報價與我們自己機房的維運紀錄,拿去比價不會失真。

先搞懂三種 H100:SXM5、PCIe、NVL

同樣叫 H100,規格差距大到接近不同產品。SXM5 版是效能完全體:80GB HBM3、頻寬約 3,350GB/s、TDP 700W,透過 NVLink 提供 900GB/s 的卡間互連,只存在於 HGX 整機架構裡,不能單卡插在一般伺服器上。PCIe 版是通用體:一樣 80GB 但頻寬約 2,000GB/s、TDP 350W,插標準伺服器就能用,兩張卡可以用 NVLink 橋接器達到 600GB/s 互連。NVL 版則是推論特化型,94GB 顯存、頻寬拉到約 3,900GB/s,鎖定大模型推論市場。

項目 H100 SXM5 H100 PCIe H100 NVL
顯存 80GB HBM3 80GB HBM2e 94GB HBM3
記憶體頻寬 約 3,350GB/s 約 2,000GB/s 約 3,900GB/s
卡間互連 NVLink 900GB/s(NVSwitch 全互連) 橋接 600GB/s(限兩卡) 橋接 600GB/s
TDP 700W 350W 350 至 400W
部署形式 HGX 4 或 8 卡整機 標準伺服器插卡 標準伺服器插卡
適合場景 多卡訓練、大規模推論 單卡推論、微調 大模型推論

租用時第一個要確認的就是版本。看過不只一次的糾紛:客戶以為租到的是 SXM 等級的效能,實際拿到 PCIe 版,推論吞吐差了快四成。報價單上沒寫清楚版本的,直接要求補上。

教你兩招快速驗明正身:上機後跑 nvidia-smi -q,看功耗上限與顯存型號,SXM5 會顯示 700W 與 HBM3,PCIe 版是 350W 與 HBM2e;再跑 nvidia-smi topo -m,看到 NV18 字樣代表 NVLink 全互連,只出現 PIX 或 NODE 就是走 PCIe。這兩個指令花你十秒鐘,簽約前要求業者遠端展示一次,比任何規格書都可靠。

H100 主機租用完整指南:HGX 8 卡架構、NVLink 頻寬與台灣月租行情【2026】
▲ HGX 8 卡 640GB HBM3,台灣月租 NT$700,000-1,200,000

HGX 8 卡架構解剖:為什麼它是一個運算單位

HGX H100 8-GPU 是 NVIDIA 定義的標準基板:8 張 SXM5 模組直接焊在基板上,透過 4 顆 NVSwitch 晶片形成全互連拓撲,任意兩卡之間都有 900GB/s 的雙向頻寬,不需要經過 CPU 或 PCIe 匯流排。這讓 8 張卡可以被軟體當成一個 640GB HBM3、FP8 聚合算力約 16 PFLOPS 的巨型加速器來用,張量並行切到 8 卡幾乎不掉速,這是 PCIe 多卡架構做不到的事。

整機規格通常還包括:雙路 CPU(64 核以上)、1TB 至 2TB 系統記憶體、15TB 以上 NVMe、以及 8 張 400Gb/s InfiniBand 或 RoCE 網卡供跨機擴展。你租的不是八張卡,是一台把「卡、互連、供電、散熱」整合調校好的系統,這也是它租金結構的本質。

NVSwitch 對軟體層的意義值得單獨講:NCCL 在全互連拓撲下可以把 all-reduce、all-to-all 這些集合通訊排到最優路徑,框架層的張量並行、專家並行幾乎不需要為拓撲做特殊調校,「切 8 份」在工程上變成一個開關而不是一個專案。對台灣企業的翻譯就是:租 8 卡整機,你的工程師不需要是分散式系統專家,開源框架的預設配置就能吃到九成效能,人力門檻比五年前低非常多。要往更大規模走,兩台以上整機用 InfiniBand 串接,機內 NVLink、機間 IB 的兩層架構,就是目前所有大型訓練叢集的標準形狀。SXM 與 PCIe 在多卡訓練上的效率差距有多大,我們在 SXM5 與 PCIe 的深度比較裡有完整的數據拆解。

台灣月租行情:單卡到整機的價格地圖

2026 年台灣市場的參考區間:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000;2 卡橋接配置約 NT$160,000 至 250,000;HGX 8 卡整機月租約 NT$700,000 至 1,200,000,價差主要來自合約長度、儲存配置與頻寬承諾,年約普遍可以談到 15% 至 25% 的折扣。對照國際雲端的 8 卡叢集時租(2026 年已跌到每 GPU 每小時 US$2 至 4),換算月費約 NT$37 萬至 75 萬,帳面看起來便宜。

但雲端報價要加上三筆錢才是真實成本:NVMe 與物件儲存的月費、動輒每 GB US$0.05 以上的資料傳出流量費、以及跨時區支援的溝通成本。台灣在地整機租用通常含儲存、含電力、含頻寬,對照下來總成本常常打平甚至更低,而資料留在境內這一點,對金融、醫療、政府相關案子來說根本不是錢的問題,是能不能做的問題。

價格趨勢也交代一下:H100 整機月租從 2024 年的高點已經回落三到四成,2026 年還在緩跌,主因是 Blackwell 放量後高端需求轉移。對租方的操作意義:別在此刻簽兩年以上的死約,6 到 12 個月合約加上「續約時依市場價重議」條款,才吃得到跌價紅利;反過來,業者若願意用今天的價格鎖一年並附升級選項,那就值得簽。另外,口頭報價與合約價常有落差,含稅與否、含頻寬與否都要白紙黑字,尤其流量計費的條款,推論服務一上量,每月流量費可以差出五位數。

你需要幾張 H100?用模型大小對號入座

給一份實戰對照。推論側:70B 模型 FP8 精度約需 70GB,單卡勉強、雙卡從容,加上 KV cache 後生產環境建議 2 卡;405B 級模型即使 FP8 也要 400GB 以上,至少 6 至 8 卡張量並行。微調側:70B 的 LoRA 需要 4 至 8 卡;70B 全參數微調含優化器狀態要 1TB 上下的顯存與系統記憶體協同,8 卡整機是起跳配置,搭 ZeRO-3 與 offload 才跑得順。訓練側:從零訓練 7B 級模型,8 卡 HGX 大約數週可完成一輪像樣的資料量,再大的規模就要跨機,InfiniBand 網路品質開始變成主角。

常見的錯誤是「先租 2 卡試試,不夠再加」:PCIe 平台上 2 卡到 4 卡的擴展效率會先撞牆,搬到 SXM 平台又要重簽合約與搬環境。建議反過來,先用開源模型在單卡上量測顯存與吞吐,拿數據回推需要的卡數與互連等級,一次到位。給三個台灣常見的配置菜單參考:做 RAG 與內部知識庫的公司,2 張 PCIe 卡(月租約 NT$20 萬)跑 70B 量化推論加 embedding 服務;做模型微調服務的工作室,4 卡配置(月租約 NT$45 萬)平衡訓練與交付測試;自研模型的團隊直接 8 卡整機起跳。先對號入座再微調,比從零規劃快得多,而且卡數永遠保留兩成餘裕,顯存貼著上限跑的系統,一次流量尖峰就會教你做人。8 卡整機的完整架構與電力細節,可以延伸看 8-GPU 主機全解析。

機房與電力:台灣落地的現實面

一台 HGX H100 8 卡整機滿載功耗約 10 至 12kW,這個數字在台灣機房語境裡是什麼概念?傳統機櫃的供電規格是 3 至 5kW,也就是說一台 8 卡機就超過一整櫃的配額,需要 15kW 以上的高密度機櫃,搭配水冷背板或液冷才能穩定散熱。全台能提供這種規格的機房集中在雙北、桃園與台中的少數新建或改建案,租用前務必確認機房的每櫃供電上限與冷卻方式,而不是只看網路延遲。

電費也算給你看:10.5kW 滿載一個月約 7,560 度,以台灣工業電價每度 NT$3.5 至 4.5 計,加上 PUE 1.4 的冷卻開銷,單月電力成本約 NT$37,000 至 48,000。這筆錢在租用模式下由業者吸收、內含在月租裡;自建的話除了電費,還有高密度機櫃改造每櫃數十萬的一次性投資。2026 年台灣電價仍有上調壓力,把電力風險轉嫁給租賃業者,是財務上很理性的選擇。

散熱路線在台灣分兩派:氣冷機型配水冷背板櫃,建置快、遷移容易,是目前主流;直接液冷(DLC)機型散熱上限高、長期電費再省 10% 至 15%,但要機房有液冷迴路,全台選點還不多。租用戶其實不用糾結,把「滿載 72 小時燒機不降頻」寫進驗收條件,讓業者去煩惱怎麼冷卻,是最省心的做法。另外確認機房的發電機與 UPS 涵蓋 GPU 櫃,部分老機房的高密櫃是後期加裝,斷電保護等級和主機房不同,這種細節出事才會知道痛。還有一個常被問的問題:台灣的颱風與地震會不會影響機房?正規資料中心的選址、結構與備援設計都把這兩項算進去了,真正常出事的反而是企業自建機房的市電品質與冷卻備援,這又是一個把重資產交給專業機房的理由。

真實案例與合約重點:金融科技公司的三個月專案

台北一家金融科技公司要微調 70B 中文模型做智能客服,合規要求資料不得出境。他們的選項是:自購一台 8 卡 HGX 約 NT$2,400 萬加機房改造,或租用台灣在地 8 卡整機月租約 NT$850,000。專案排程三個月:一個月資料清理與實驗、六週正式訓練與評測、兩週上線壓測,總租金約 NT$255 萬,只有自購成本的一成,專案結束後轉租 2 卡 H100 做推論服務,月支出降到 NT$180,000。這種「訓練尖峰租整機、上線後縮規格」的用法,正是租賃模式對專案型需求的最大價值。

他們的採購在合約上抓的重點值得抄:SLA 99.9% 並定義故障換卡時限 4 小時;8 張卡與 NVSwitch 的健康檢查報告每月提供;NVMe 讀寫實測數據寫進合約(訓練資料吞吐要求 5GB/s 以上);出場時的資料抹除證明。這四條把租用最常見的坑全部堵住,建議直接列入你的詢價範本。

驗收流程也值得抄:他們在點交後 48 小時內跑完三件事,滿載燒機 24 小時、nccl-tests 確認 8 卡互連頻寬、再用自家資料集試訓 1,000 步比對 loss 曲線,全部通過才簽驗收單。整機租賃的月租是七位數,花兩天做驗收是最便宜的保險,這套流程拿去用,不用客氣。

資訊部門的審查清單也幫你準備好。存取面:主機是否走跳板機加多因子驗證、管理端口有沒有暴露在公網、供應商端有哪些人有實體與遠端存取權限、有沒有留存操作紀錄。監控面:業者是否提供溫度、功耗、記憶體錯誤的例行健檢報告,異常告警走什麼管道、多快通知。制度面:機房的認證等級、資料抹除的標準流程、合約終止時的交接程序。這十來個問題在台灣企業的資安審查裡幾乎必考,先拿去問過一輪,採購流程可以少跑兩週;答不上來的供應商,再便宜都要三思,七位數月租的服務,管理成熟度就是產品的一部分。

H100 主機租用完整指南:HGX 8 卡架構、NVLink 頻寬與台灣月租行情【2026】
▲ H100 租用前必查三件事

找台灣在地的 GPU 主機夥伴

H100 的租用門檻不低,找對夥伴比找到最低價重要。

戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列配置,從單卡到多卡整機都有,機房在台灣、延遲低、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。

不確定該租幾張卡的話,把模型規模與專案排程丟給顧問試算就好:

常見問題 FAQ

H100 單卡和 8 卡整機的月租各是多少?

台灣 2026 年行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000,2 卡橋接配置約 NT$160,000 至 250,000,HGX 8 卡整機約 NT$700,000 至 1,200,000。年約普遍有 15% 至 25% 折扣,含儲存與頻寬的整包方案報價會高一些,但總成本通常比逐項加購划算。比價時把電力、儲存、流量全部攤進同一張表看總持有成本,才不會被表面數字騙。

H100 SXM5 和 PCIe 版差在哪,怎麼選?

SXM5 是 700W、HBM3 頻寬 3,350GB/s、NVLink 900GB/s 全互連,只存在 HGX 整機;PCIe 是 350W、頻寬約 2,000GB/s,兩卡可橋接 600GB/s。單卡推論與微調選 PCIe 就夠;4 卡以上訓練或張量並行,SXM 的擴展效率高出兩到三成,長訓練下時間差距非常可觀。若暫時只租得到 PCIe 平台,改用資料並行加梯度累積,可以把互連劣勢壓到一成多,是常見的過渡打法。

HGX 8 卡的 NVLink 到底快在哪裡?

透過 4 顆 NVSwitch,任兩卡間都有 900GB/s 雙向頻寬,是 PCIe 5.0(約 128GB/s)的 7 倍,而且 8 卡全互連不用經過 CPU。這讓張量並行的通訊幾乎不成為瓶頸,8 卡訓練擴展效率可達九成以上;PCIe 多卡平台同樣的工作負載效率常掉到七成上下,差距會隨模型變大而擴大。

跑 70B 模型需要幾張 H100?

推論:FP8 精度權重約 70GB,技術上單卡可跑,但加上 KV cache 與併發需求,生產環境建議 2 卡;4-bit 量化則單卡從容。微調:LoRA 需 4 至 8 卡,全參數微調建議 8 卡整機起跳,搭配 ZeRO-3。如果只是想驗證 70B 模型效果,先租 2 卡跑量化版本,驗證有價值再上 8 卡,是最省的路徑。

一台 8 卡 H100 主機的耗電量與電費多少?

滿載功耗約 10 至 12kW,月耗電約 7,200 至 8,600 度;以台灣工業電價每度 NT$3.5 至 4.5 加上機房 PUE 1.4 計算,月電費約 NT$37,000 至 55,000。租用模式下這筆錢內含在月租,由業者吸收電價波動風險;自建還要加上 15kW 高密度機櫃的改造成本,每櫃數十萬起跳。

台灣哪些機房放得下 HGX 8 卡主機?

關鍵指標是每櫃供電至少 15kW 與對應冷卻能力,傳統 3 至 5kW 機櫃放不了。具備條件的機房集中在雙北、桃園、台中的新建或改建資料中心,部分採水冷背板或直接液冷。租用整機服務時這些由業者處理;若是自購托管,簽約前務必實地確認供電、冷卻與樓板承重,8 卡機含機櫃常超過 300 公斤。

租 H100 和用國際雲端比,哪個划算?

雲端 8 卡時租 2026 年約每 GPU 每小時 US$2 至 4,換算月費 NT$37 萬至 75 萬,帳面便宜;但加上儲存月費、每 GB US$0.05 以上的傳出流量費與時差支援成本後,總價常反超台灣在地整機的 NT$70 萬至 120 萬含全包方案。利用率超過五成、或資料有不出境要求的,在地租用幾乎都是更優解。

H100 租約裡最該注意哪些條款?

五條:一是明確標注 SXM 或 PCIe 版本與顯存規格;二是 SLA 與故障換卡時限,建議 4 至 8 小時;三是儲存效能寫實測值,訓練建議 NVMe 5GB/s 以上;四是頻寬是否獨享與是否計流量;五是退租時的資料抹除證明。版本標示不清是最常見的糾紛來源,報價單沒寫就要求補。

現在租 H100 會不會很快被 Blackwell 淘汰?

兩年內不用擔心。B 系列供貨集中在超大型雲端業者,台灣市場能穩定租到的時間點與價格都還不明朗;H100 的軟體生態最成熟,vLLM、TensorRT-LLM 優化最完整,租金還在逐季下修。務實策略是簽 6 至 12 個月合約,享受價格下行,等 Blackwell 在台租賃市場成熟再評估轉換。

沒有 AI 團隊的公司要怎麼開始用 H100?

從託管加支援的租用模式開始:業者裝好驅動、CUDA 與推論框架,你的工程師直接部署模型。第一步建議租單卡 PCIe 主機(月租 NT$80,000 級)跑開源 70B 量化模型驗證業務價值,通常 4 至 8 週能看到結果,再決定是否擴大。台灣業者的中文支援在這個階段價值很高,問題溝通不用隔時差。

Share this
14 7 月 2026

NVIDIA A100 還值得租嗎?2026 年 A100 vs H100 的價格甜蜜點分析

💡 快速答案:2026 年 NVIDIA A100 還值得租用嗎?

值得,但僅限特定場景。A100 80GB 在台灣月租已跌到約 NT$40,000 至 70,000,是 H100 的一半以下;H100 訓練快 2.2 至 3.1 倍、配 FP8 推論快 3 至 4 倍,時間敏感的大型訓練仍該選 H100。反過來說,電腦視覺、推薦系統、13B 以下模型微調、FP64 科學運算這類吃不滿 Hopper 新特性的負載,A100 的每元效能反而更高。判斷關鍵是工作負載能否用到 FP8 與高頻寬,用不到就租 A100 省一半預算。拿不準就先量測一週 GPU 使用率,數據會直接告訴你答案。

A100 是 2020 年發表的產品,放在 GPU 世界已經是六年的老將,照理說早該退場,但 2026 年它在租賃市場反而迎來第二春:價格跌到歷史低點,而全球還有大量工作負載根本用不到 H100 的新特性。這篇把 A100 與 H100 的規格差距、實際效能差距、以及台灣租金行情攤開來算,幫你找出「付一半的錢、拿到夠用的算力」的甜蜜點,也講清楚哪些情況省這筆錢會害到自己。先說結論的形狀:這不是「新卡舊卡」的信仰題,是一道可以算出交叉點的數學題,而 2026 年的交叉點位置,對很多台灣團隊來說剛好落在 A100 這一側。

A100 租賃市場現況:價格雪崩後的第二春

先看行情。國際雲端市場的 A100 80GB 時租,已經從 2023 年高峰的每小時 US$2 以上,跌到 2026 年的 US$0.8 至 1.5;台灣在地租賃的 A100 80GB 單卡月租大約落在 NT$40,000 至 70,000,40GB 版更便宜,NT$30,000 上下就找得到。對照 H100 單卡月租 NT$80,000 至 150,000 的行情,價差直接是一倍以上。

為什麼跌這麼兇?供給面,大型雲端業者汰換下來的 A100 大量流入二手與租賃市場;需求面,追最新算力的錢全部湧向 H100、H200 與 Blackwell 世代。但這正是精打細算的团隊撿便宜的窗口:A100 的 CUDA 生態支援還很長,Ampere 架構在 CUDA 12 世代依然是一級公民,PyTorch、vLLM、TensorRT 的支援沒有任何縮水,跌的只有價格,不是能力。

挑 A100 還有一個版本細節:40GB 與 80GB 除了容量,頻寬也不同,40GB 版約 1,555GB/s,80GB 版拉到 2,000GB/s 上下。跑電腦視覺、推薦系統這類模型不大的負載,40GB 版月租便宜三成左右,是更精準的省法;要碰語言模型就直上 80GB,容量與頻寬的雙重差距會直接反映在能不能跑、跑多快上。另外 PCIe 與 SXM 版的差價約兩成,多卡訓練才需要為 SXM 的 600GB/s NVLink 加錢。台灣目前的 A100 機源以 PCIe 單卡與 4 卡、8 卡 SXM 整機為主,單卡幾乎隨租隨有,整機建議提前兩週詢問。順帶提醒一件小事:同樣是八十的容量,不同批次機器的散熱模組與韌體版本會影響穩定度,租用前請業者提供近三個月的故障與更換紀錄,老卡挑得好,穩定度其實不輸新卡;挑不好,就是天天跟告警打交道。

規格對照:差距在哪裡,一張表看完

項目 A100 80GB(SXM) H100 80GB(SXM5)
架構 / 製程 Ampere / 台積電 7nm Hopper / 台積電 4N
顯存 80GB HBM2e 80GB HBM3
記憶體頻寬 約 2,000GB/s 約 3,350GB/s
FP16 Tensor(dense) 312 TFLOPS 約 990 TFLOPS
FP8 支援 無 有,約 1,979 TFLOPS
NVLink 頻寬 600GB/s 900GB/s
TDP 400W 700W
台灣單卡月租行情 NT$40,000 至 70,000 NT$80,000 至 150,000

紙面上 H100 的 FP16 算力是 A100 的 3.2 倍,再加上 A100 完全沒有的 FP8 與 Transformer Engine,帳面差距可以拉到 6 倍。但帳面歸帳面,實際工作負載跑起來是另一回事,這正是甜蜜點存在的原因。

NVIDIA A100 還值得租嗎?2026 年 A100 vs H100 的價格甜蜜點分析
▲ H100 訓練快 2.2-3.1 倍;A100 80GB 月租 NT$40,000 起

實測差距的真相:2.2 倍到 4 倍之間,看你吃不吃得滿

公開的 MLPerf 訓練測試與我們機房的實際經驗一致:大型 Transformer 訓練,H100 比 A100 快 2.2 至 3.1 倍;搭配 FP8 與 TensorRT-LLM 的推論場景,可以拉到 3 至 4 倍。但注意,這是「模型夠大、批次夠滿、軟體棧全面優化」的前提下。換成 3B 以下的小模型、傳統 CNN、或資料管線本身就是瓶頸的場景,差距會縮到 1.8 至 2.2 倍,因為 H100 的新單元根本吃不滿,你付的溢價在空轉。

一個常被忽略的事實:FP8 的效益需要工程投入才拿得到,模型要做量化感知的調校、框架要用對版本、kernel 要驗證數值穩定性。團隊如果沒有餘裕做這些,H100 實際跑 FP16 的差距就是 2.5 倍上下,而不是行銷簡報上的 6 倍。這時候「兩張 A100 對一張 H100」的等價交換,常常是預算表上更漂亮的答案。

多卡場景還要補一刀:A100 的 NVLink 是 600GB/s,H100 拉到 900GB/s,加上 NVSwitch 世代更新,8 卡訓練的通訊開銷差距比單卡數字更大。如果你的計畫是 4 卡以上的長期訓練,把互連差距也算進去,H100 的實際領先會比 MLPerf 單項數字再多一成上下;反之單卡或雙卡用途,這條差距可以直接忽略,別讓它干擾決策。

A100 依然划算的四種場景

場景一:電腦視覺與推薦系統。YOLO 系列、缺陷檢測、CTR 模型這類負載,運算密度吃不滿 Hopper 的 Tensor Core,A100 的 312 TFLOPS 綽綽有餘,瓶頸多半在資料載入而非算力。場景二:13B 以下模型的微調與實驗,80GB 顯存做 LoRA 遊刃有餘,訓練時間差距在小模型上絕對值很小,H100 快 2.5 倍省下的可能只是「4 小時變 1.6 小時」,月租差 NT$50,000 買這個不划算。場景三:FP64 科學運算,A100 的 19.5 TFLOPS(Tensor)對 CFD、分子動力學這類 HPC 負載依然夠用,而這類程式碼多半十年沒改,用不到 FP8。場景四:MIG 多租戶,A100 可切成最多 7 個獨立執行個體,拿來做教學環境、多團隊共享的開發機,每個座位的成本比任何新卡都低。

這四種場景有個共同的判斷技巧:打開 nvidia-smi 或 DCGM 看兩個數字,SM 使用率與記憶體頻寬使用率。如果你現在的卡跑起來 SM 長期低於六成,代表算力根本沒吃滿,換 H100 只是把「沒吃滿的算力」變成三倍,浪費得更快;這種負載租 A100 把使用率墊高,才是把錢花對地方。租卡之前先量測一週,勝過看一百篇評測文。

反過來,三種情況請直接放棄 A100:70B 以上模型的生產級推論(頻寬差距會直接反映在 tokens/s 與延遲上)、動輒兩週以上的大型訓練(時間成本壓過租金差)、以及需要長上下文高併發的服務(KV cache 對頻寬更敏感)。這些場景乖乖看 H100 租用指南,或者評估顯存更大的 H200。

甜蜜點試算:每 GB 顯存與每單位工時的成本

用兩把尺量。第一把尺是每 GB 顯存的月成本:A100 80GB 月租抓 NT$50,000,就是每 GB NT$625;H100 80GB 月租抓 NT$110,000,每 GB NT$1,375,差 2.2 倍。如果你的負載是「顯存綁定」而非「算力綁定」,例如塞好幾個中型模型做推論服務,A100 每 GB 成本便宜一半以上,答案很明顯。

第二把尺是含人力的總工時成本。假設一個訓練專案在 A100 上要跑 22 天,H100 上 8 天:A100 方案租金省 NT$60,000,但工程師薪資以月薪 NT$120,000 計,多等 14 天的機會成本約 NT$56,000,還沒算產品晚上市的商業損失,兩案打平甚至 H100 勝出。所以口訣是:一次性的長訓練看總工時,常態性的推論與小型實驗看每 GB 成本。把自己的數字套進去,五分鐘就有答案,不用聽任何人的信仰。

還有一種混搭策略值得考慮:開發與實驗用 A100,生產訓練衝刺用 H100 短租。例如平常養一張 A100 80GB(月租約 NT$50,000)跑資料處理、消融實驗與小規模驗證,重大版本要全量訓練時,再短租 H100 多卡一到兩個月。這種配置比全程 H100 省三到四成,比全程 A100 快,兩頭的好處都拿到,台灣月租制的彈性剛好支援這種打法。唯一要注意的是兩邊環境的一致性:CUDA 與框架版本鎖同一組,模型權重與資料管線放共享儲存,切換成本才會趨近於零。

台灣案例:醫療影像團隊的省法

台北一個和醫學中心合作的影像 AI 團隊,做 3D MRI 分割與病理切片分類,模型是 nnU-Net 加上一個 8B 的報告生成模型。他們評估過 H100 單卡方案(月租約 NT$110,000)與 2 張 A100 80GB 方案(月租合計約 NT$95,000),實測後選了後者:3D 分割訓練的瓶頸卡在資料 IO 與前處理,H100 的算力優勢只剩 1.9 倍,而兩張 A100 可以一張跑訓練、一張同時跑推論驗證,研究節奏反而更順。

省下來的月租差額,他們投資在 NVMe 快取碟與標註人力上,半年後模型指標的進步大部分來自資料品質,而不是算力。這個案例的教訓很實在:在算力採購上省下的每一塊錢,只有投資到真正的瓶頸上才算數。順帶一提,醫療資料的合規要求讓他們只考慮台灣在地機房,資料出境的法遵成本比租金差額大得多,這是台灣團隊選機房時常見的隱形決策因子。

後日談:一年後這個團隊的報告生成模型要對外上線,推論端補租了一張 H100 PCIe(月租約 NT$95,000)跑 FP8,訓練端維持兩張 A100 不動。新舊卡各司其職,總月租控制在 NT$19 萬以內,比全面換代省了快四成。老卡配新卡的混編,在 2026 年的台灣機房裡其實是最常見的隊形,別被「一步到位」的說法綁架。

2026 年的租用建議與退場時機

給三條具體建議。第一,A100 合約不要簽超過 12 個月:Blackwell 世代放量後,H100 租金在 2026 到 2027 年還有下修空間,屆時甜蜜點會往上移一個世代,把彈性留在手上。第二,新專案如果預期會用到 FP8、長上下文或 70B 以上模型,直接從 H100 起步,省去中途搬遷的陣痛;搬一次生產環境的工程成本,通常比省下的租金差多。第三,議價時拿雲端 spot 價格當籌碼,A100 的市場價格透明,台灣在地業者多半願意在長約上讓利 10% 至 20%。

至於「A100 什麼時候該徹底退場」,盯兩個訊號就好:一是你的核心框架宣布新版本停止 Ampere 優化(短期內看不到跡象,CUDA 對 Ampere 的支援預期至少延續到 2028 年),二是 H100 月租跌破 A100 的 1.5 倍,屆時每元效能全面反轉,就沒有理由再戀棧了。

供貨面的小提醒:A100 已停產,租賃機源全靠存量,熱門的 80GB SXM 整機偶爾要排隊兩到三週;議約時記得確認業者的備品庫存與換卡時效,老卡故障率雖然只是略高,但沒有備品的話,一次故障就可能停擺一週,這個風險比租金差可怕得多。把「備品在台、4 至 8 小時換卡」寫進合約,老卡的風險大致就被馴服了。

還有一個很少被寫進評估表、但實際影響很大的因素:人與生態。市場上熟悉這一代平台的工程師基數最大,踩坑文章、調校範本、除錯經驗俯拾皆是,新人接手幾乎沒有學習曲線;反觀最新平台的細部優化,常常要自己當白老鼠。對人力吃緊的中小團隊,這種「查得到答案」的成熟度,價值不輸帳面效能。混編部署時倒是有一個工程紀律要守:同一個訓練或服務叢集內,盡量讓同代卡同組,跨代混組時框架雖然能跑,但速度會被最慢的那張卡拖著走,量化格式的支援差異也容易埋雷。把新舊卡分開編組、各司其職,是混編省錢卻不惹麻煩的關鍵。

NVIDIA A100 還值得租嗎?2026 年 A100 vs H100 的價格甜蜜點分析
▲ 2026 年 A100 的價格甜蜜點

找台灣在地的 GPU 主機夥伴

不管你的答案是 A100 還是 H100,重點是找一個能陪你算這筆帳的供應商。戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列機種,台灣機房低延遲、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援,顧問可以依你的模型規模與訓練排程直接試算兩代卡的總成本。官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m、免費專線 0800-003-191,把需求丟過來就對了。

常見問題 FAQ

2026 年 A100 在台灣的租金行情是多少?

A100 80GB 單卡月租約 NT$40,000 至 70,000,40GB 版約 NT$30,000 起,比 2023 年高峰便宜了四到六成;國際雲端時租也跌到每小時 US$0.8 至 1.5。對照 H100 單卡月租 NT$80,000 至 150,000,A100 的價格已經是一半以下,這正是它 2026 年重新有吸引力的原因。議價時可拿國際現貨價當基準,台灣業者的長約折扣空間通常還有一到兩成,在地支援的價值另計。

H100 實際上比 A100 快多少?

看負載。大型 Transformer 訓練依 MLPerf 與實務經驗快 2.2 至 3.1 倍;搭配 FP8 與 TensorRT-LLM 的推論可達 3 至 4 倍;但小模型、CNN、資料管線受限的場景會縮到 1.8 至 2.2 倍。帳面上 FP16 算力差 3.2 倍(990 對 312 TFLOPS),實際差距取決於你能不能把新硬體餵飽。建議拿自己的工作負載實測半天再決定,不同模型結構跑出來的差距可以差到一倍。

A100 的 HBM2e 和 H100 的 HBM3 差在哪?

頻寬差約 68%:A100 80GB 約 2,000GB/s,H100 SXM5 約 3,350GB/s。容量同為 80GB,所以「放不放得下」兩者相同,差在「搬多快」。大模型推論每個 token 都要掃過全部權重,頻寬直接決定 tokens/s,這是 70B 級推論建議上 H100 的主因;訓練或小模型場景頻寬差距的影響就小得多。若需求是長上下文加高併發,直接評估 141GB 的 H200 反而更省事。

A100 不支援 FP8 影響大嗎?

對大模型推論影響大,對其他場景有限。FP8 讓 H100 推論吞吐再翻近一倍,70B 模型可用約 70GB 顯存跑 FP8 精度;A100 只能用 INT8 或 FP16,量化工程更費工。但電腦視覺、推薦系統、FP64 科學運算根本用不到 FP8,這些負載租 A100 省下 50% 月租完全沒有代價。

什麼工作負載最適合撿 A100 的便宜?

四類:一是 YOLO、缺陷檢測等電腦視覺任務,312 TFLOPS 已供過於求;二是 13B 以下模型微調,80GB 跑 LoRA 綽綽有餘;三是 FP64 的 HPC 運算,19.5 TFLOPS 依然稱職;四是 MIG 多租戶場景,一卡切最多 7 份做開發機或教學環境,每席成本壓到最低。共通點是都吃不滿 H100 的新特性。

訓練專案怎麼判斷該租 A100 還是 H100?

算總成本而不是租金。公式:租金差額對比(縮短的天數乘以人力與商機成本)。例如訓練在 A100 跑 22 天、H100 跑 8 天,租金省 NT$60,000,但工程師月薪 NT$120,000 的 14 天機會成本約 NT$56,000,基本打平,H100 還讓產品早上市。一次性長訓練偏向 H100,常態性短實驗偏向 A100。

A100 的 MIG 功能可以怎麼運用?

A100 可切成最多 7 個獨立執行個體,每個有隔離的算力與顯存(80GB 版每份約 10GB),適合企業內部多團隊共享:白天切 7 份給開發與教學,晚上合併成整卡跑批次訓練。以單卡月租 NT$50,000 計,每個座位月成本僅約 NT$7,000,比每人配一張工作站卡便宜一半以上。

現在簽 A100 長約安全嗎,會不會很快被淘汰?

建議合約以 6 至 12 個月為限。軟體面風險低,CUDA 對 Ampere 的完整支援預期至少到 2028 年,PyTorch 與 vLLM 都沒有降級跡象;風險在價格面,Blackwell 放量後 H100 租金持續下修,若跌到 A100 的 1.5 倍以內,每元效能就全面反轉。短約保留轉換彈性,議價時還能拿雲端 spot 價當籌碼。

A100 適合跑 70B 大模型推論嗎?

能跑,但不建議當生產服務。70B 模型 4-bit 量化後約 40GB,單張 A100 80GB 放得下,拿來做內部測試沒問題;但生產級服務的吞吐受 2,000GB/s 頻寬限制,tokens/s 只有 H100 的六成左右,長上下文高併發下延遲更明顯。對外服務建議 H100 或 141GB 的 H200,體驗差距用戶感受得到。

租 A100 時要確認哪些配套規格?

四項:一是 PCIe 或 SXM 版本,SXM 有 600GB/s NVLink,多卡訓練效率高很多;二是搭配的 CPU 與記憶體,建議每卡至少 16 核與 128GB RAM,避免前處理卡脖子;三是 NVMe 空間與讀取速度,資料集大的團隊建議 7GB/s 等級;四是故障換卡 SLA,老卡故障率略高,4 至 8 小時內換卡的承諾要白紙黑字。

延伸閱讀

Share this
14 7 月 2026

RTX 4090 vs RTX 5090 vs RTX PRO 6000:三張卡怎麼選?算圖、訓練、推論場景對號入座

💡 快速答案:RTX 4090、RTX 5090、RTX PRO 6000 三張卡該怎麼選?

用顯存需求決定八成答案。模型或場景在 24GB 內、預算優先,選 4090,台灣月租約 NT$15,000 起;需要 32B 級量化模型、高頻寬推論或影片生成,選 32GB 的 5090,月租約 NT$25,000 至 40,000;要跑 70B 量化推論、大型場景渲染或需要 ECC 與 MIG 切分,直接上 96GB 的 RTX PRO 6000,月租約 NT$55,000 至 85,000。先量測顯存用量再選卡,是最不會後悔的順序。若同時有多個小服務要隔離,PRO 6000 還能用 MIG 切成 4 份 24GB,一台當四台用,這是消費卡沒有的彈性。

2026 年在台灣租 GPU 主機,工作站等級的選單上通常就是這三張:RTX 4090、RTX 5090、RTX PRO 6000。月租價位大約是 1 倍、1.6 倍、4 倍的階梯,但效能與容量的差距並不是等比放大,選錯的代價要嘛是預算浪費四成,要嘛是專案卡在顯存不足動彈不得。這篇把算圖、訓練、推論三大場景逐一對號入座,順便給你一套三分鐘就能套用的決策順序。先講答案的形狀:多數團隊的正解不是「哪張最強」,而是「哪張剛好」,我們把機房裡三種卡的實際出租數據和客戶的踩雷紀錄整理成這篇,你可以直接抄作業。

三張卡的定位與規格總表

先把身世講清楚。RTX 4090 是 2022 年的 Ada Lovelace 消費旗艦,24GB GDDR6X,便宜大碗,至今仍是全球算圖農場的主力;RTX 5090 是 2025 年的 Blackwell 消費旗艦,32GB GDDR7,頻寬直接拉到 1,792GB/s;RTX PRO 6000 則是 Blackwell 世代的專業工作站與伺服器卡,96GB GDDR7 帶 ECC 錯誤修正,CUDA 核心 24,064 個比 5090 還多,並支援 MIG 切分,一張卡可以切成最多 4 個獨立執行個體。

項目 RTX 4090 RTX 5090 RTX PRO 6000
架構 Ada Lovelace Blackwell Blackwell
CUDA 核心 16,384 21,760 24,064
顯存 24GB GDDR6X 32GB GDDR7 96GB GDDR7 ECC
記憶體頻寬 1,008GB/s 1,792GB/s 約 1,790GB/s
TDP 450W 575W 600W(另有 300W 版)
ECC / MIG 無 / 無 無 / 無 有 / 最多切 4 份
台灣主機月租行情 NT$15,000 至 25,000 NT$25,000 至 40,000 NT$55,000 至 85,000

注意一個容易誤讀的點:PRO 6000 的頻寬和 5090 幾乎一樣,算力也只多一成上下,它貴出兩倍多的理由是 96GB 容量、ECC、MIG 與企業級驅動認證,而不是「跑得比較快」。如果你付 PRO 6000 的錢只用到它的速度,那筆溢價全數浪費。

生命週期也放進考量。4090 已停產,租賃市場靠存量機在跑,價格穩定但機齡漸高,簽約時記得確認保固與換卡條件;5090 正值當打之年,供貨與價格都在甜蜜點;PRO 6000 是 2025 年中才鋪貨的新卡,租金還有議價空間但機源相對少,熱門時段要提前兩到四週預約。三張卡的驅動也不同層級:消費卡走 GeForce 分支,PRO 6000 走企業長期支援分支,對穩定性挑剔的生產環境,這個差異值得列入評分表。

RTX 4090 vs RTX 5090 vs RTX PRO 6000:三張卡怎麼選?算圖、訓練、推論場景對號入座
▲ 顯存需求決定 8 成答案:先量測用量再選卡最不後悔

算圖與渲染場景:先看場景大小,再看每元效能

Blender、V-Ray、Octane 這類 GPU 渲染,4090 的每元效能至今無人能敵,單張月租 NT$15,000 出頭就能吃下多數產品視覺與建築外觀案。5090 渲染速度快約 30% 到 40%,適合交期壓死人的動畫與影視案,渲染農場每提早一天交件都是真金白銀。PRO 6000 的主場是「單一場景超過 30GB」的重量級專案:影視級 look-dev、8K 材質的完整廠區數位孿生、GI 烘焙一次吃 60GB 的那種,24GB 或 32GB 的卡連場景都載不進去,再快都沒用。

經驗法則給一個:先用你現有場景在 24GB 卡上跑一次,如果 out-of-core 或切 tile 的頻率超過兩成,升 PRO 6000 省下的人力調校時間就值回價差;如果從來沒爆過顯存,乖乖用 4090,把省下的月租拿去多租一張卡平行渲染,總吞吐還比較高。

多卡農場的算法也提一下:GPU 渲染的幀與幀之間幾乎零通訊,擴展效率接近線性,所以「兩台 4090」的總吞吐大約是「一台 5090」的 1.5 倍,月租還便宜一成,純渲染農場堆 4090 至今仍是最優解;例外是單張超大場景,爆顯存就是爆顯存,多卡救不了,只能上 96GB。把這條規則記住,渲染選卡九成的情況不會錯。

農場化配置還有幾個管理面的細節,順手一起講。渲染排程建議上一套簡單的佇列系統,把案子切成幀段自動派工,斷點續算要先驗證過,不然半夜斷線隔天早上才發現,交期直接開天窗;渲染器的授權計費方式也要看清楚,有些按節點數收費,堆卡之前先算授權費會不會反咬一口。經驗上,兩台雙卡機的維運負擔比四台單卡機輕得多,插卡密度和機器數量之間,取中間值通常最省心。這些細節聽起來瑣碎,但渲染業務的毛利就是被這種地方一點一點吃掉的,選卡只是第一步,把整條產線調順才是本體。

模型訓練場景:顯存容量決定你能不能上桌

訓練的顯存估算有公式可循:全參數微調用 AdamW 時,每個參數大約要吃 16 到 18 bytes(權重、梯度、優化器狀態加總),7B 模型就是 120GB 上下,三張卡單卡都跑不了,得靠多卡或 offload;LoRA 與 QLoRA 把需求砍到每參數 1 至 3 bytes,於是格局變成:7B 至 13B 的 LoRA 微調,24GB 的 4090 可以勝任;32B 級 QLoRA 需要 20 至 28GB 工作空間,32GB 的 5090 剛好站上門檻;70B 級 QLoRA 至少要 48GB 起跳,只有 96GB 的 PRO 6000 單卡吃得下,還能順便把批次開大讓訓練曲線穩一點。

速度面,5090 比 4090 快 1.3 至 1.5 倍,PRO 6000 再快 5% 至 15%,差距不誇張。所以訓練場景的選卡邏輯很單純:容量先決,速度次之。花 4 倍月租買 PRO 6000 卻只跑 13B LoRA,是我們最常看到的錯配,那筆預算拿去租兩張 5090 做平行實驗,研發迭代速度快一倍不止。

把常用對照表寫成文字版:7B 全參數微調約需 120GB(得靠多卡或 offload)、7B LoRA 約 18 至 22GB、13B LoRA 約 28 至 34GB(24GB 卡要改 QLoRA)、32B QLoRA 約 22 至 26GB、70B QLoRA 約 46 至 55GB。對照三張卡的容量會發現,5090 的 32GB 其實卡在一個微妙位置:比 24GB 多出的空間,主要換到「32B QLoRA 跑得動」這一項,如果你的路線圖裡沒有 32B 級模型,這級容量的邊際價值不高。另外,實測時把 micro-batch 塞到顯存九成再回退一檔,是最快找到穩定配置的土法,比理論計算省時間。

推論部署場景:KV cache 與併發數才是主角

推論的顯存帳不能只算權重。vLLM 這類服務框架的吞吐來自把 KV cache 塞好塞滿,上下文越長、併發越高,cache 吃的顯存越兇。實務區間長這樣:8B 模型 FP16 服務,4090 可以撐 20 至 40 路併發;32B 模型 4-bit 量化後權重約 18GB,5090 剩 14GB 給 cache,中低併發可用,但上下文拉到 32K 就開始捉襟見肘;70B 模型 4-bit 權重約 40GB,只有 PRO 6000 放得下,而且還剩 50GB 以上給 KV cache,單卡就能撐起一個部門級的內部服務。

PRO 6000 還有一張隱藏牌:MIG。把 96GB 切成 4 份 24GB,各自跑獨立的推論服務,故障與資源互不干擾,對「一台主機要服務四個團隊」的公司來說,比買四張消費卡省電省空間,也省了三台主機的維運。延遲敏感的服務還要算一筆 KV cache 帳:FP8 量化的 cache 比 FP16 省一半空間,主流框架都已支援,等於把併發上限直接翻倍,這對 32GB 的 5090 特別關鍵;以 32B FP8 模型為例,PRO 6000 的 96GB 裝完約 34GB 權重後,還能養 50GB 以上的 cache,32K 上下文可以撐 40 路上下的穩定併發,這個水位已經夠一個兩百人企業的內部助理使用。預估併發時記得用 p95 流量而不是平均值,很多服務半夜沒人用、上班時間全擠在一起,平均值會騙人。單張卡的高可用細節與更上層的 H100 選項,可以參考 戰國策 GPU 主機服務頁的完整規格表。

台灣情境與真實案例:新竹 AI 顧問公司的三段式升級

新竹一家八人 AI 顧問公司,幫製造業客戶做知識庫問答系統,路徑很有代表性。第一階段 POC,租兩台 4090 主機跑 13B 模型加 RAG,月租共約 NT$36,000,兩週內驗證可行;第二階段客戶要上線,要求換 32B 模型並保證回應品質,團隊改租一台 5090 跑量化 32B,月租 NT$32,000,結果上下文開到 16K 之後 KV cache 吃緊,尖峰時段排隊明顯;第三階段直接換一台 PRO 6000,70B 量化模型加 32K 上下文,45 路併發穩定跑,月租 NT$68,000,客戶按人頭數付的授權費完全蓋得過去。

回頭看,這家公司在每個階段的月租都花在刀口上,關鍵是他們每階段都先量測顯存用量與併發曲線才換卡,而不是一開始就「買未來性」。台灣的租賃市場月租制彈性高,超規格預租的舊思維其實可以丟掉了,需求到了再升級,中間省下的差價就是淨利。

這個案子後來還有一段:客戶數量成長後,他們把 PRO 6000 開了 MIG,切成 4 份 24GB 給四個客戶的 POC 環境同時用,白天隔離跑展示、晚上合併回整卡跑批次評測,一台機器當四台用。這種彈性是消費卡給不了的,也是 PRO 6000 的溢價在服務型公司身上最容易回收的方式。

選卡決策順序與兩個常見錯配

把決策壓縮成三個問題。第一題:你的模型或場景量化後要吃多少顯存?超過 30GB 直接 PRO 6000,20 至 30GB 選 5090,20GB 以下選 4090。第二題:負載是頻寬敏感型嗎?LLM 推論與影片生成是,選 GDDR7 的 5090 收益最大,詳細差距可以看 5090 與 4090 的實測比較。第三題:有沒有 ECC、MIG、長時間無人值守的企業需求?有,PRO 6000 的溢價才算花得有道理。

兩個最常見的錯配也點名一下。錯配一:為了「未來可能會用到」直接租 PRO 6000,結果一年後顯存平均使用率 35%,多繳的 NT$40 萬月租差額夠請半個工程師。錯配二:為了省錢硬把 32B 模型塞進 24GB,工程師花兩週調量化與 offload 參數,省下的月租差 NT$10,000,還不到那兩週薪資成本的五分之一。租卡跟買保險一樣,保額要對齊風險,不是越大越好,也不是越省越聰明。

順手補一筆租買比較:RTX PRO 6000 單卡市價約 NT$25 萬至 30 萬,自購加上主機平台約 NT$40 萬,對照月租 NT$68,000,帳面六到七個月打平;但自購要吃保固期外的故障風險、殘值下跌與機房電力,把這些攤進去,實際損益兩平點通常落在 14 至 18 個月。用不滿一年半的需求,租比買穩;打算跑三年的常態負載,買斷加托管才開始有優勢。台灣還有電價與空間的變數,自購前先確認辦公室的電力與冷氣扛不扛得住 600W 等級的整機長時間滿載,很多團隊是機器買了才發現冷氣先投降。

還有一個場景之外的維度值得放進決策:團隊的工作型態。研究導向的團隊,實驗多而雜,兩三張中階卡的並行實驗產能,遠勝一張大卡的排隊使用,因為研究的瓶頸在迭代次數,不在單次速度;交付導向的團隊剛好相反,客戶合約綁著單一大型服務的品質與延遲,一張規格對齊的大卡比一堆小卡好管理。多專案併行的公司,建議把卡的分配權集中管理,搭配簡單的預約制度,我們看過太多團隊卡很多但使用率不到四成,因為每個人都守著自己那張不放。硬體的錢好算,協作的損耗難算,而後者常常更大。

RTX 4090 vs RTX 5090 vs RTX PRO 6000:三張卡怎麼選?算圖、訓練、推論場景對號入座
▲ 4090・5090・PRO 6000 對號入座

找台灣在地的 GPU 主機夥伴

三張卡都看完還是拿不定主意的話,讓在地團隊幫你把關。戰國策集團的 GPU 主機服務涵蓋 NVIDIA H100 與 RTX 全系列,4090、5090、PRO 6000 都有現成機種,台灣機房低延遲、資料留在境內,彈性月租 NT$15,000 起,7×24 中文技術支援隨時在線。把你的模型規模與併發需求丟過來,顧問會直接給你建議配置與試算:官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m、免費專線 0800-003-191。

常見問題 FAQ

RTX 4090、5090、PRO 6000 的月租價差多少?

台灣 2026 年行情:4090 主機月租約 NT$15,000 至 25,000,5090 約 NT$25,000 至 40,000,PRO 6000 約 NT$55,000 至 85,000,大致是 1 比 1.6 比 4 的階梯。價差主要反映顯存容量 24GB、32GB、96GB 與企業功能,而非速度;三張卡的純算力差距其實只有三到五成。另外 PRO 6000 常搭配更高階的 CPU 與記憶體平台,整機報價的級距比單看卡價更明顯,詢價時建議直接比整機規格與配套。

RTX PRO 6000 為什麼比 5090 貴這麼多?

貴在容量與企業功能,不是速度。PRO 6000 的 96GB GDDR7 是 5090 的三倍,支援 ECC 錯誤修正與 MIG 切分(最多 4 個獨立執行個體),並通過專業軟體的驅動認證,適合長時間無人值守運行。速度只比 5090 快 5% 至 15%,若用不到 32GB 以上顯存,這筆溢價等於白付。

跑 70B 大語言模型該選哪張卡?

只有 RTX PRO 6000 單卡辦得到。70B 模型 4-bit 量化後權重約 40GB,96GB 顯存放得下且還剩 50GB 以上給 KV cache,可以撐 30 至 50 路併發;4090 的 24GB 與 5090 的 32GB 都塞不進去。若需要 FP8 或 FP16 精度跑 70B,則要 2 張 H100 80GB 以上的配置,月租預算要拉到 NT$160,000 以上。如果只是想驗證 70B 的效果,先租單卡跑 4-bit 版本測品質,確認有商業價值再上高精度多卡,是最省的路徑。

ECC 記憶體對 AI 工作真的重要嗎?

看任務時長與正確性要求。訓練一跑 72 小時以上,無 ECC 的卡遇到記憶體位元翻轉可能讓 loss 曲線異常或直接崩潰,重跑的時間成本遠超過月租差;金融、醫療等合規場景通常直接要求 ECC。反之,渲染與短時推論偶發錯誤影響有限,消費卡就夠。經驗上連續訓練超過 3 天的團隊,九成會選 ECC 機種。

MIG 切分實際上怎麼用?

RTX PRO 6000 可切成最多 4 個各約 24GB 的獨立執行個體,每份有隔離的運算與記憶體資源,一個服務當掉不影響其他三個。典型用法是一台主機服務 4 個團隊或 4 個微服務,比租四台 4090 主機省下約 NT$20,000 至 30,000 月租與三台機器的維運。要注意 MIG 模式下不支援圖形輸出,純運算場景才適用。

純做 3D 算圖,三張卡怎麼選最划算?

場景在 20GB 以內,4090 每元效能最高,多數建築與產品渲染案首選;交期極緊的影視案選 5090,單卡快 30% 至 40%;單場景超過 30GB 或需要 8K 材質全載,才需要 PRO 6000 的 96GB。同預算下,兩張 4090 平行渲染的總吞吐通常勝過一張 5090,農場化配置比單卡升級更有效率。

三張卡的功耗與散熱需求差多少?

4090 是 450W,5090 是 575W,PRO 6000 工作站版 600W,另有 300W 的精簡版供高密度部署。以台灣電價與機房冷卻成本估算,每月電力成本分別約 NT$1,600、2,200、2,400。租用時電費幾乎都內含;自建的話 5090 與 PRO 6000 建議搭 1000W 以上電源,機櫃散熱也要預留每卡 600W 的餘裕。托管的話,建議每櫃預留兩成供電裕度,避免台灣夏季高溫時觸發降頻,拖累整體產出。

驅動程式上三張卡有差別嗎?

有。4090 與 5090 用 GeForce 或 Studio 驅動,授權不允許資料中心大規模部署,租賃業者以單租戶專用主機形式提供;PRO 6000 用 NVIDIA RTX Enterprise 驅動,有 ISV 認證與較長的穩定分支支援,SolidWorks、Maya 等專業軟體遇到的相容性問題明顯較少。跑開源 AI 框架的話,三者體驗差距不大,CUDA 12.8 以上都支援。

可以先租 4090 之後再升級嗎,會不會很麻煩?

台灣月租制下升級成本很低,多數業者支援月底轉約換機種,資料搬遷透過內網或直接換卡保留系統碟,停機時間通常在 2 至 6 小時內。建議的路徑是 POC 用 4090、上線前用實際流量壓測,再決定升 5090 或 PRO 6000;比一開始就租大卡,平均可省下三成以上的前期成本。

什麼情況該跳過這三張卡直接看 H100?

三個訊號:一是模型量化後仍超過 90GB,例如 FP8 精度的 100B 級模型;二是需要 4 卡以上張量並行訓練,消費卡與 PRO 6000 都沒有 NVLink,PCIe 互連會讓擴展效率掉到七成以下;三是推論併發破百且有嚴格延遲 SLA。H100 單卡月租約 NT$80,000 起,貴一倍多但互連與 HBM3 頻寬是另一個量級。

Share this
14 7 月 2026

RTX 5090 主機租用值得嗎?與 4090 效能實測比較,AI 算力 CP 值之王【2026】

💡 快速答案:RTX 5090 主機租用比 4090 值得嗎?

看工作負載屬性決定。RTX 5090 配 32GB GDDR7 顯存,記憶體頻寬 1,792GB/s 比 4090 高出七成八,大型語言模型推論與影像生成速度快 1.5 至 1.8 倍;台灣月租行情約 NT$25,000 至 40,000,比 4090 貴四到六成。只要你的負載吃頻寬、或需要超過 24GB 顯存,換算每單位產出的成本反而更低,值得直上;若是純 FP32 運算或 13B 以下小模型,4090 仍是 CP 值首選。拿不準的話,先用一個月短租實測自己的工作負載,數據會給你最誠實的答案。

RTX 5090 在 2025 年初上市時一卡難求,通路溢價一度衝到定價的 1.8 倍;進入 2026 年供貨穩定下來,台灣的 GPU 主機租賃市場也陸續把 5090 機種端上檯面。問題來了:租 4090 可以省下三到四成月租,多花這筆錢上 5090 到底划不划算?這篇不堆形容詞,直接用數字回答,包括哪些工作負載 5090 快到有感、哪些情境 4090 依然是 CP 值解,以及台灣月租行情目前落在哪個區間。這一年多來我們機房裡 5090 的詢問度大概是所有卡種第一,但實際簽下去的客戶只有六成,剩下四成在算完帳之後選了別的配置,這篇就是把那筆帳攤開來寫。

RTX 5090 規格拆解:Blackwell 架構加 GDDR7 改變了什麼

先看硬規格。RTX 5090 採用 Blackwell 架構的 GB202 核心,21,760 個 CUDA 核心,比 RTX 4090 的 16,384 個多出約 33%;搭載 32GB GDDR7 顯存,走 512-bit 匯流排,記憶體頻寬達 1,792GB/s。這個數字要對照著看才有感:4090 的 GDDR6X 是 1,008GB/s,5090 直接高出 78%。TDP 從 450W 拉到 575W,介面升級 PCIe 5.0,Tensor Core 進入第五代,原生支援 FP4 低精度運算。

對 AI 工作負載來說,這串規格裡最關鍵的不是 CUDA 核心數,而是那 78% 的頻寬增幅。大型語言模型推論本質上是「把權重從顯存搬進運算單元」的搬運工作,每產生一個 token 幾乎要把整套模型讀一遍,頻寬直接決定 tokens/s 的天花板。GDDR7 改用 PAM3 訊號編碼,單腳位速率 28Gbps,是這一代效能躍進的真正主角。想弄懂顯存規格對 AI 效能的影響,可以延伸讀我們整理的 GDDR7 與 HBM 顯存完整比較。

另一個容易被忽略的升級是第五代 Tensor Core 的 FP4 支援。4-bit 浮點量化讓同一張卡的有效推論吞吐再往上疊,搭配 TensorRT 與 2025 年後的主流開源推論框架,8B 級模型在 5090 上做 FP4 部署,吞吐可以比 FP16 再高五到八成,而品質損失在多數應用裡量不出來。PCIe 5.0 的介面頻寬也有實際意義:資料集載入與 checkpoint 存取的等待時間明顯縮短,對頻繁換模型的多專案團隊,是每天省下半小時的那種有感。

RTX 5090 主機租用值得嗎?與 4090 效能實測比較,AI 算力 CP 值之王【2026】
▲ RTX 5090 32GB 頻寬比 4090 高 78%,推論與生圖快 1.5-1.8 倍

與 RTX 4090 實測比較:差距不是一個數字,是一個分佈

很多人問「5090 比 4090 快多少」,誠實的答案是:看你跑什麼,差距從 1.25 倍到 1.8 倍都有。整理機房實際跑出來的區間給你參考:大型語言模型推論(8B 到 14B 量級、vLLM 服務化)tokens/s 提升約 1.5 到 1.8 倍,因為這類負載吃頻寬吃得兇;Stable Diffusion XL 與 Flux.1 出圖快 1.35 到 1.6 倍;LoRA 微調這類中小規模訓練快 1.3 到 1.5 倍;至於傳統 FP32 科學運算或 3D 光柵渲染,大約就是 1.25 到 1.3 倍,乖乖跟著核心數與時脈走。

項目 RTX 4090 RTX 5090
架構 Ada Lovelace Blackwell
CUDA 核心 16,384 21,760
顯存 24GB GDDR6X 32GB GDDR7
記憶體頻寬 1,008GB/s 1,792GB/s
TDP 450W 575W
LLM 推論相對效能 1 倍(基準) 約 1.5 至 1.8 倍
台灣主機月租行情 NT$15,000 至 25,000 NT$25,000 至 40,000

一句話抓重點:工作負載越接近「記憶體頻寬瓶頸」,5090 的溢價就越值;越接近「純算力瓶頸」,4090 的 CP 值就越難撼動。拿不準自己的負載屬於哪一種?最簡單的判斷法是看 GPU 使用率,推論時若 SM 使用率長期低於七成而吞吐上不去,八成就是卡在頻寬。

補一個看測試數據的提醒:網路上 5090 對 4090 的跑分差距很大,關鍵在測試條件。批次開多大、用什麼量化格式、上下文多長,都會讓結果差出一截;批次極小時瓶頸在頻寬,5090 領先最多,批次拉滿轉成算力瓶頸,差距就往 1.3 倍收斂。評估租用前,最好拿自己的模型與真實流量形態實測 48 小時,而不是抓一篇評測文的數字就下單,兩者的結論常常不一樣。

32GB 對上 24GB:能不能跑,比快不快更重要

顯存容量的差異比速度差異更「二元」,放得下就是放得下,放不下就是零分。24GB 的 4090 跑 FP16 的 13B 模型推論已經接近極限,上下文一拉長 KV cache 就爆;32GB 的 5090 同樣跑 13B,可以把批次與上下文開得更寬,或者直接上 4-bit 量化的 32B 級模型,權重約 17 到 19GB,還留得下 12GB 以上給 KV cache 與系統開銷,這在 24GB 卡上只能勉強低併發運行。

影像與影片生成也是同一套邏輯。Flux.1 dev 這種 12B 級模型,FP16 全載需要 24GB 上下,4090 得靠 offload 或 FP8 折衷,5090 直接全載還有餘裕掛 ControlNet 與放大模型;開源影片生成模型對顯存更貪,32GB 幾乎是入場券。但話說回來,70B 級模型就算壓到 4-bit 也要 40GB 以上,5090 與 4090 都跑不動,那是 96GB 的 RTX PRO 6000 或 H100 的戰場,三張卡的完整選型邏輯我們寫在 4090、5090、PRO 6000 對決這篇。

再給一組上下文的具體數字。8B 模型 FP16 服務,上下文開到 32K、併發 10 路,KV cache 大約要 8 到 10GB:24GB 的卡裝完 16GB 權重後已經貼底,32GB 還有一倍餘裕,這就是為什麼同樣的模型,5090 能開的併發與上下文硬是寬一級。做 agent 應用、長文件摘要這類上下文越吃越長的產品,容量餘裕直接等於產品規格的上限,比跑分好看重要多了。順帶說,vLLM 的分頁式 cache 管理很有效率,但總量仍是硬上限,FP8 量化 KV cache 能再省一半,長輸出的品質記得自己驗證過再上線。

台灣租用行情與 CP 值試算

2026 年台灣市場的行情大致是:4090 專用主機月租約 NT$15,000 到 25,000,5090 主機約 NT$25,000 到 40,000,實際數字看 CPU、記憶體、NVMe 容量與合約長度浮動。單看月租,5090 貴了四到六成;但把吞吐算進去,帳就完全不同。假設你的推論負載在 5090 上快 1.6 倍,每百萬 token 的攤提成本反而比 4090 低一到兩成。租金買的是產出,不是硬體本身,這個觀念很多人第一次租主機時沒轉過來。

電力也值得攤開來講。575W 的卡滿載跑一個月大約 414 度電,加上整機平台與機房冷卻(PUE 抓 1.4 到 1.6),對機房來說一張 5090 的電力成本落在每月 NT$2,000 到 2,800 之間。台灣工業電價這幾年連續調漲後落在每度 NT$3.5 到 4.5 的區間,這條成本線是墊高月租的實際原因之一。好消息是台灣絕大多數租賃方案電費內含,你看到的月租就是總成本,不像自建機房還要自己吸收夏季尖峰電價與冷氣折舊。

實務上的議價空間也分享一下。台灣業者對 5090 這種熱門卡,月租報價通常有一成上下的談判餘地,季繳或半年繳普遍再折 5% 到 10%;比較值得爭取的是「卡種轉換條款」,約定租滿三個月後可以貼差價升級或降規,對需求還在變動的團隊,這條比折扣更有價值。反過來,綁 24 個月以上的長約要謹慎,消費卡世代更迭快,把彈性賣掉換折扣通常不划算。

常有人問:與其月租,不如直接買一張?幫你把這筆帳攤開。自購一張 5090 加上像樣的整機平台,一次性支出大約落在十五到二十萬之間,對照月租,帳面上七到十個月回本,看起來很誘人。但自購要自己承擔三件事:故障送修期間的產能真空(消費卡保固來回常常要兩三週)、兩年後的殘值下跌(前一代旗艦的二手價通常剩五到六成)、以及辦公室電力與散熱的隱形成本(五百多瓦的卡在夏天等於多開一台冷氣)。對接案節奏穩定、有專人顧機器的團隊,自購划算;對專案起伏大、沒有硬體維運人力的公司,租用把風險全部外包,那幾個月的差價買的其實是保險和睡眠品質。我們的建議很簡單:先租三個月,確認使用率真的長期高於七成,再考慮買斷,順序反過來的人最容易後悔。

實際案例:台中模具廠的 AOI 質檢升級

舉一個我們實際遇過的情境。台中一家精密模具廠,產線 AOI 每天產出約 25,000 張瑕疵檢測影像,白天跑即時推論,夜間 11 點到清晨 6 點的窗口要完成模型重訓與整批複檢。原本租一台 4090 主機,夜間批次要跑 9 個半小時,常常壓到早班開線時間;IT 主管評估兩條路:加租第二台 4090,月租多約 NT$18,000,或是把單台升級成 5090,月租差約 NT$13,000。

最後選了 5090:批次時間縮到 6 小時出頭,單機架構不用改成分散式流程,也不用多顧一台機器的系統更新與監控。這個案例的決策點很典型,當「單卡吞吐不夠」是唯一痛點時,先升級單卡通常比加卡便宜,因為多機帶來的維運、排程與除錯成本,遠比帳面上的租金差更貴。反過來說,如果痛點是「要同時服務多個獨立專案」,兩台 4090 的隔離性反而是優點。

另一個方向的例子是台北一間三人影像工作室,主力是電商產品圖與短影音,ComfyUI 加 Flux 的工作流。原本用 4090,每張成圖含放大約 40 秒,換 5090 後壓到 26 秒上下,一天 500 張的產能等於多出兩小時的交件緩衝;更關鍵的是 32GB 讓放大模型與 ControlNet 常駐顯存,省掉反覆載入的零碎等待。月租多 NT$12,000,對月營收七位數的工作室來說,這是很容易算的帳。

三種情境,請直接跳過 5090

把話說在前面,5090 不是萬靈丹。第一種情境:70B 級以上模型的訓練或高精度推論,32GB 完全不夠,直接看 96GB 的 RTX PRO 6000 或 80GB 起跳的 H100,不要浪費評估時間。第二種:需要 ECC 記憶體、MIG 切分或虛擬化的多租戶與合規場景,消費級卡沒有這些企業功能,金融或醫療案子常在資安審查這關被擋下來。第三種:重度多卡分散式訓練,GeForce 系列沒有 NVLink,卡間只能走 PCIe 5.0 的雙向約 128GB/s,NCCL 通訊密集的訓練一超過四卡,擴展效率會明顯打折。

另外一個實務提醒:NVIDIA 的 GeForce 驅動授權不允許資料中心大規模部署,所以台灣租賃業者的 4090 與 5090 方案多以專用工作站或單租戶主機形式出租,一人一機、不做虛擬化切分。租用前建議確認四件事:驅動與 CUDA 版本(Blackwell 需要 CUDA 12.8 以上、PyTorch 2.7 之後的官方版本支援最完整)、故障換卡的 SLA 時效、頻寬是否共享,以及電費是否內含。這四題問完,踩雷機率大概少九成。

還有一種需求形狀是「偶爾爆量、平常低載」,可以考慮短租混搭:平日用一張 4090 扛日常,專案期加租 5090 一到兩個月,台灣月租制的彈性剛好吃這種節奏,比為了尖峰需求全年養大卡省得多。多數業者的短租溢價在 15% 上下,拿計算機按三分鐘,就知道哪種組合對你最省。

RTX 5090 主機租用值得嗎?與 4090 效能實測比較,AI 算力 CP 值之王【2026】
▲ RTX 5090 租用決策 3 要點

找台灣在地的 GPU 主機夥伴

如果你正在評估 RTX 5090 或其他等級的 GPU 主機,戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列選擇,機房就在台灣,本地存取延遲低、資料不出境,彈性月租 NT$15,000 起,搭配 7×24 全年無休的中文技術支援。需求還不明確也沒關係,把工作負載描述丟給顧問評估就好:官網 https://www.nss.com.tw/gpu-bare-metal-vs-cloud 、LINE 官方帳號 @119m,或撥免費專線 0800-003-191,通常一通電話就能把規格與預算對齊。

常見問題 FAQ

RTX 5090 主機月租比 4090 貴多少?

台灣行情 4090 主機月租約 NT$15,000 至 25,000,5090 約 NT$25,000 至 40,000,差距四到六成。若你的工作負載吃記憶體頻寬,例如語言模型推論或影像生成,5090 吞吐高出 1.5 至 1.8 倍,換算單位產出成本反而更低;純 FP32 運算差距僅約 1.3 倍,租 4090 比較划算。另外 5090 方案通常搭配較新的平台與 PCIe 5.0 NVMe,配套也有隱形價差,比價時要看整機規格,不能只看卡。

RTX 5090 的 32GB 顯存能跑哪些模型?

FP16 全精度可順跑 13B 至 14B 模型推論並保留充足 KV cache;4-bit 量化可上 32B 級模型,權重約 17 至 19GB;Flux.1 dev 等 12B 級影像模型可全載不需 offload。70B 級模型即使 4-bit 也需要 40GB 以上顯存,單張 5090 跑不動,要改看 96GB 的 RTX PRO 6000 或 H100。實務上建議把顯存用量規劃在八成以內,留空間給系統與框架開銷,長時間服務才會穩。

GDDR7 對 AI 效能的影響有多大?

非常大。5090 的 GDDR7 提供 1,792GB/s 頻寬,比 4090 的 GDDR6X 高 78%,而語言模型推論每產生一個 token 都要把權重完整讀一遍,頻寬幾乎直接決定 tokens/s 上限。這解釋了為什麼 5090 在 LLM 推論的領先幅度(1.5 至 1.8 倍)遠大於純算力差距的 1.3 倍。所以選卡前先判斷負載是頻寬綁定還是算力綁定,兩種情況的答案會完全不同。

RTX 5090 功耗 575W,租用時電費怎麼算?

575W 滿載一個月約 414 度電,加上主機平台與機房冷卻(PUE 約 1.4 至 1.6),單卡電力成本每月約 NT$2,000 至 2,800。台灣租賃方案幾乎都電費內含,月租即總成本;自建的話還要自行負擔台灣工業電價每度約 NT$3.5 至 4.5 與夏季尖峰加成,長期算下來租用反而好控管。

RTX 5090 適合拿來做模型訓練嗎?

適合中小規模訓練:7B 至 14B 的 LoRA 或 QLoRA 微調、視覺模型訓練都沒問題,速度比 4090 快 1.3 至 1.5 倍。不適合的是 70B 級全參數訓練與四卡以上的分散式訓練,因為消費卡沒有 NVLink,卡間只有 PCIe 5.0 約 128GB/s 頻寬,通訊密集時擴展效率會掉到七成以下。

租 5090 主機需要注意哪些軟體版本?

Blackwell 架構需要 CUDA 12.8 以上與 570 版之後的驅動,PyTorch 建議 2.7 以上的官方版本才有完整的 sm_120 支援;TensorRT、vLLM 也要用 2025 年之後的版本。租用前請業者先裝好對應環境並實測你的框架,可以省掉一到兩天的環境除錯時間,這是租主機比買卡方便的地方之一。

可以租多張 RTX 5090 組多卡主機嗎?

可以,常見 2 卡與 4 卡工作站配置,跑資料並行訓練或多個獨立推論服務都合適。但要理解限制:5090 沒有 NVLink,卡間通訊走 PCIe 5.0 雙向約 128GB/s,做張量並行這類通訊密集的工作效率不佳。若需要 4 卡以上高速互連,建議評估 H100 SXM 平台,擴展效率可維持九成以上。

RTX 5090 和 H100 差在哪,什麼時候該升級?

H100 有 80GB HBM3 顯存、3,350GB/s 頻寬與 900GB/s 的 NVLink,都是 5090 的 1.9 至 7 倍,但台灣單卡月租約 NT$80,000 起,是 5090 的兩到四倍。判斷點很簡單:模型量化後仍超過 30GB、需要多卡張量並行、或推論併發量大到單卡吞吐見頂,就該升級;其餘場景 5090 的每元效能更高。預算許可的話,先短租單卡 H100 一個月實測,再決定要不要整批升級,比直接跳級安全。

做 3D 渲染或影音後製,5090 值得租嗎?

值得,前提是專案吃得滿。Blender、Octane 等 GPU 渲染速度比 4090 快約 1.3 至 1.4 倍,32GB 顯存對 8K 材質與大型場景更友善;DaVinci Resolve 多層 4K 時間軸也更順。如果每月渲染工時超過 150 小時,月租差額約 NT$10,000 很容易靠交件速度賺回來;偶爾才渲染的話,4090 就夠了。接案節奏不穩的工作室,用一到兩個月的短租對沖尖峰,是最省的做法。

GPU 主機租約通常怎麼簽,彈性大嗎?

台灣主流是月租制,常見一個月起租,季繳或年繳另有 5% 至 15% 折扣;專案型用戶可以談三個月短約搭配到期轉租其他卡種。簽約前重點確認三件事:故障換卡時效(建議 4 至 8 小時內)、頻寬是否獨享、以及升降規格的轉約條款,把這些寫進合約比口頭承諾可靠。

Share this

               

戰國策 AI-SEO 優化服務,提升網站在 Google 與 AI 搜尋的能見度。現在提供免費 AI-SEO 網站健檢:資安、SEO、AI 能見度完整報告。免費健檢我的網站

邀請你免費加入我們的LINE社群 : 【戰國策戰勝學院】,和一群真正想搞懂商業、提升營收的老闆一起成長!