💡 快速答案:H100 主機在台灣租用一個月要多少錢?
台灣 2026 年行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000,HGX 8 卡整機(SXM5、NVLink 900GB/s 互連)月租約 NT$700,000 至 1,200,000,年約通常再折 15% 至 25%。單卡適合 70B 以下模型推論與微調;要做 70B 級訓練或高併發生產服務,8 卡整機的 640GB HBM3 與 NVSwitch 全互連才是正解。選擇的關鍵在模型大小與卡間通訊需求,而不是預算上限。另外留意版本標示,SXM5 與 PCIe 的效能差距可達四成,報價單必須寫清楚,這是台灣市場最常見的租用糾紛來源。
問到企業級 AI 算力,2026 年的答案依然繞不開 H100。Blackwell 世代雖然已經出貨,但供應集中在超大型雲端業者,對台灣多數企業來說,H100 是「租得到、生態最成熟、工程師最熟」的主力選擇。這篇從版本差異、HGX 8 卡架構講到台灣月租行情與機房電力,目標是讓你在跟任何供應商談之前,就知道該問什麼、該付多少、哪些條款不能讓。文中的數字來自 2026 年上半年台灣市場的實際報價與我們自己機房的維運紀錄,拿去比價不會失真。
先搞懂三種 H100:SXM5、PCIe、NVL
同樣叫 H100,規格差距大到接近不同產品。SXM5 版是效能完全體:80GB HBM3、頻寬約 3,350GB/s、TDP 700W,透過 NVLink 提供 900GB/s 的卡間互連,只存在於 HGX 整機架構裡,不能單卡插在一般伺服器上。PCIe 版是通用體:一樣 80GB 但頻寬約 2,000GB/s、TDP 350W,插標準伺服器就能用,兩張卡可以用 NVLink 橋接器達到 600GB/s 互連。NVL 版則是推論特化型,94GB 顯存、頻寬拉到約 3,900GB/s,鎖定大模型推論市場。
| 項目 | H100 SXM5 | H100 PCIe | H100 NVL |
|---|---|---|---|
| 顯存 | 80GB HBM3 | 80GB HBM2e | 94GB HBM3 |
| 記憶體頻寬 | 約 3,350GB/s | 約 2,000GB/s | 約 3,900GB/s |
| 卡間互連 | NVLink 900GB/s(NVSwitch 全互連) | 橋接 600GB/s(限兩卡) | 橋接 600GB/s |
| TDP | 700W | 350W | 350 至 400W |
| 部署形式 | HGX 4 或 8 卡整機 | 標準伺服器插卡 | 標準伺服器插卡 |
| 適合場景 | 多卡訓練、大規模推論 | 單卡推論、微調 | 大模型推論 |
租用時第一個要確認的就是版本。看過不只一次的糾紛:客戶以為租到的是 SXM 等級的效能,實際拿到 PCIe 版,推論吞吐差了快四成。報價單上沒寫清楚版本的,直接要求補上。
教你兩招快速驗明正身:上機後跑 nvidia-smi -q,看功耗上限與顯存型號,SXM5 會顯示 700W 與 HBM3,PCIe 版是 350W 與 HBM2e;再跑 nvidia-smi topo -m,看到 NV18 字樣代表 NVLink 全互連,只出現 PIX 或 NODE 就是走 PCIe。這兩個指令花你十秒鐘,簽約前要求業者遠端展示一次,比任何規格書都可靠。
HGX 8 卡架構解剖:為什麼它是一個運算單位
HGX H100 8-GPU 是 NVIDIA 定義的標準基板:8 張 SXM5 模組直接焊在基板上,透過 4 顆 NVSwitch 晶片形成全互連拓撲,任意兩卡之間都有 900GB/s 的雙向頻寬,不需要經過 CPU 或 PCIe 匯流排。這讓 8 張卡可以被軟體當成一個 640GB HBM3、FP8 聚合算力約 16 PFLOPS 的巨型加速器來用,張量並行切到 8 卡幾乎不掉速,這是 PCIe 多卡架構做不到的事。
整機規格通常還包括:雙路 CPU(64 核以上)、1TB 至 2TB 系統記憶體、15TB 以上 NVMe、以及 8 張 400Gb/s InfiniBand 或 RoCE 網卡供跨機擴展。你租的不是八張卡,是一台把「卡、互連、供電、散熱」整合調校好的系統,這也是它租金結構的本質。
NVSwitch 對軟體層的意義值得單獨講:NCCL 在全互連拓撲下可以把 all-reduce、all-to-all 這些集合通訊排到最優路徑,框架層的張量並行、專家並行幾乎不需要為拓撲做特殊調校,「切 8 份」在工程上變成一個開關而不是一個專案。對台灣企業的翻譯就是:租 8 卡整機,你的工程師不需要是分散式系統專家,開源框架的預設配置就能吃到九成效能,人力門檻比五年前低非常多。要往更大規模走,兩台以上整機用 InfiniBand 串接,機內 NVLink、機間 IB 的兩層架構,就是目前所有大型訓練叢集的標準形狀。SXM 與 PCIe 在多卡訓練上的效率差距有多大,我們在 SXM5 與 PCIe 的深度比較裡有完整的數據拆解。
台灣月租行情:單卡到整機的價格地圖
2026 年台灣市場的參考區間:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000;2 卡橋接配置約 NT$160,000 至 250,000;HGX 8 卡整機月租約 NT$700,000 至 1,200,000,價差主要來自合約長度、儲存配置與頻寬承諾,年約普遍可以談到 15% 至 25% 的折扣。對照國際雲端的 8 卡叢集時租(2026 年已跌到每 GPU 每小時 US$2 至 4),換算月費約 NT$37 萬至 75 萬,帳面看起來便宜。
但雲端報價要加上三筆錢才是真實成本:NVMe 與物件儲存的月費、動輒每 GB US$0.05 以上的資料傳出流量費、以及跨時區支援的溝通成本。台灣在地整機租用通常含儲存、含電力、含頻寬,對照下來總成本常常打平甚至更低,而資料留在境內這一點,對金融、醫療、政府相關案子來說根本不是錢的問題,是能不能做的問題。
價格趨勢也交代一下:H100 整機月租從 2024 年的高點已經回落三到四成,2026 年還在緩跌,主因是 Blackwell 放量後高端需求轉移。對租方的操作意義:別在此刻簽兩年以上的死約,6 到 12 個月合約加上「續約時依市場價重議」條款,才吃得到跌價紅利;反過來,業者若願意用今天的價格鎖一年並附升級選項,那就值得簽。另外,口頭報價與合約價常有落差,含稅與否、含頻寬與否都要白紙黑字,尤其流量計費的條款,推論服務一上量,每月流量費可以差出五位數。
你需要幾張 H100?用模型大小對號入座
給一份實戰對照。推論側:70B 模型 FP8 精度約需 70GB,單卡勉強、雙卡從容,加上 KV cache 後生產環境建議 2 卡;405B 級模型即使 FP8 也要 400GB 以上,至少 6 至 8 卡張量並行。微調側:70B 的 LoRA 需要 4 至 8 卡;70B 全參數微調含優化器狀態要 1TB 上下的顯存與系統記憶體協同,8 卡整機是起跳配置,搭 ZeRO-3 與 offload 才跑得順。訓練側:從零訓練 7B 級模型,8 卡 HGX 大約數週可完成一輪像樣的資料量,再大的規模就要跨機,InfiniBand 網路品質開始變成主角。
常見的錯誤是「先租 2 卡試試,不夠再加」:PCIe 平台上 2 卡到 4 卡的擴展效率會先撞牆,搬到 SXM 平台又要重簽合約與搬環境。建議反過來,先用開源模型在單卡上量測顯存與吞吐,拿數據回推需要的卡數與互連等級,一次到位。給三個台灣常見的配置菜單參考:做 RAG 與內部知識庫的公司,2 張 PCIe 卡(月租約 NT$20 萬)跑 70B 量化推論加 embedding 服務;做模型微調服務的工作室,4 卡配置(月租約 NT$45 萬)平衡訓練與交付測試;自研模型的團隊直接 8 卡整機起跳。先對號入座再微調,比從零規劃快得多,而且卡數永遠保留兩成餘裕,顯存貼著上限跑的系統,一次流量尖峰就會教你做人。8 卡整機的完整架構與電力細節,可以延伸看 8-GPU 主機全解析。
機房與電力:台灣落地的現實面
一台 HGX H100 8 卡整機滿載功耗約 10 至 12kW,這個數字在台灣機房語境裡是什麼概念?傳統機櫃的供電規格是 3 至 5kW,也就是說一台 8 卡機就超過一整櫃的配額,需要 15kW 以上的高密度機櫃,搭配水冷背板或液冷才能穩定散熱。全台能提供這種規格的機房集中在雙北、桃園與台中的少數新建或改建案,租用前務必確認機房的每櫃供電上限與冷卻方式,而不是只看網路延遲。
電費也算給你看:10.5kW 滿載一個月約 7,560 度,以台灣工業電價每度 NT$3.5 至 4.5 計,加上 PUE 1.4 的冷卻開銷,單月電力成本約 NT$37,000 至 48,000。這筆錢在租用模式下由業者吸收、內含在月租裡;自建的話除了電費,還有高密度機櫃改造每櫃數十萬的一次性投資。2026 年台灣電價仍有上調壓力,把電力風險轉嫁給租賃業者,是財務上很理性的選擇。
散熱路線在台灣分兩派:氣冷機型配水冷背板櫃,建置快、遷移容易,是目前主流;直接液冷(DLC)機型散熱上限高、長期電費再省 10% 至 15%,但要機房有液冷迴路,全台選點還不多。租用戶其實不用糾結,把「滿載 72 小時燒機不降頻」寫進驗收條件,讓業者去煩惱怎麼冷卻,是最省心的做法。另外確認機房的發電機與 UPS 涵蓋 GPU 櫃,部分老機房的高密櫃是後期加裝,斷電保護等級和主機房不同,這種細節出事才會知道痛。還有一個常被問的問題:台灣的颱風與地震會不會影響機房?正規資料中心的選址、結構與備援設計都把這兩項算進去了,真正常出事的反而是企業自建機房的市電品質與冷卻備援,這又是一個把重資產交給專業機房的理由。
真實案例與合約重點:金融科技公司的三個月專案
台北一家金融科技公司要微調 70B 中文模型做智能客服,合規要求資料不得出境。他們的選項是:自購一台 8 卡 HGX 約 NT$2,400 萬加機房改造,或租用台灣在地 8 卡整機月租約 NT$850,000。專案排程三個月:一個月資料清理與實驗、六週正式訓練與評測、兩週上線壓測,總租金約 NT$255 萬,只有自購成本的一成,專案結束後轉租 2 卡 H100 做推論服務,月支出降到 NT$180,000。這種「訓練尖峰租整機、上線後縮規格」的用法,正是租賃模式對專案型需求的最大價值。
他們的採購在合約上抓的重點值得抄:SLA 99.9% 並定義故障換卡時限 4 小時;8 張卡與 NVSwitch 的健康檢查報告每月提供;NVMe 讀寫實測數據寫進合約(訓練資料吞吐要求 5GB/s 以上);出場時的資料抹除證明。這四條把租用最常見的坑全部堵住,建議直接列入你的詢價範本。
驗收流程也值得抄:他們在點交後 48 小時內跑完三件事,滿載燒機 24 小時、nccl-tests 確認 8 卡互連頻寬、再用自家資料集試訓 1,000 步比對 loss 曲線,全部通過才簽驗收單。整機租賃的月租是七位數,花兩天做驗收是最便宜的保險,這套流程拿去用,不用客氣。
資訊部門的審查清單也幫你準備好。存取面:主機是否走跳板機加多因子驗證、管理端口有沒有暴露在公網、供應商端有哪些人有實體與遠端存取權限、有沒有留存操作紀錄。監控面:業者是否提供溫度、功耗、記憶體錯誤的例行健檢報告,異常告警走什麼管道、多快通知。制度面:機房的認證等級、資料抹除的標準流程、合約終止時的交接程序。這十來個問題在台灣企業的資安審查裡幾乎必考,先拿去問過一輪,採購流程可以少跑兩週;答不上來的供應商,再便宜都要三思,七位數月租的服務,管理成熟度就是產品的一部分。
找台灣在地的 GPU 主機夥伴
H100 的租用門檻不低,找對夥伴比找到最低價重要。戰國策集團的 GPU 主機服務提供 NVIDIA H100 與 RTX 全系列配置,從單卡到多卡整機都有,機房在台灣、延遲低、資料不出境,彈性月租 NT$15,000 起,7×24 中文技術支援。不確定該租幾張卡的話,把模型規模與專案排程丟給顧問試算就好:官網 https://www.nss.com.tw/gpu 、LINE 官方帳號 @119m、免費專線 0800-003-191。
常見問題 FAQ
H100 單卡和 8 卡整機的月租各是多少?
台灣 2026 年行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000,2 卡橋接配置約 NT$160,000 至 250,000,HGX 8 卡整機約 NT$700,000 至 1,200,000。年約普遍有 15% 至 25% 折扣,含儲存與頻寬的整包方案報價會高一些,但總成本通常比逐項加購划算。比價時把電力、儲存、流量全部攤進同一張表看總持有成本,才不會被表面數字騙。
H100 SXM5 和 PCIe 版差在哪,怎麼選?
SXM5 是 700W、HBM3 頻寬 3,350GB/s、NVLink 900GB/s 全互連,只存在 HGX 整機;PCIe 是 350W、頻寬約 2,000GB/s,兩卡可橋接 600GB/s。單卡推論與微調選 PCIe 就夠;4 卡以上訓練或張量並行,SXM 的擴展效率高出兩到三成,長訓練下時間差距非常可觀。若暫時只租得到 PCIe 平台,改用資料並行加梯度累積,可以把互連劣勢壓到一成多,是常見的過渡打法。
HGX 8 卡的 NVLink 到底快在哪裡?
透過 4 顆 NVSwitch,任兩卡間都有 900GB/s 雙向頻寬,是 PCIe 5.0(約 128GB/s)的 7 倍,而且 8 卡全互連不用經過 CPU。這讓張量並行的通訊幾乎不成為瓶頸,8 卡訓練擴展效率可達九成以上;PCIe 多卡平台同樣的工作負載效率常掉到七成上下,差距會隨模型變大而擴大。
跑 70B 模型需要幾張 H100?
推論:FP8 精度權重約 70GB,技術上單卡可跑,但加上 KV cache 與併發需求,生產環境建議 2 卡;4-bit 量化則單卡從容。微調:LoRA 需 4 至 8 卡,全參數微調建議 8 卡整機起跳,搭配 ZeRO-3。如果只是想驗證 70B 模型效果,先租 2 卡跑量化版本,驗證有價值再上 8 卡,是最省的路徑。
一台 8 卡 H100 主機的耗電量與電費多少?
滿載功耗約 10 至 12kW,月耗電約 7,200 至 8,600 度;以台灣工業電價每度 NT$3.5 至 4.5 加上機房 PUE 1.4 計算,月電費約 NT$37,000 至 55,000。租用模式下這筆錢內含在月租,由業者吸收電價波動風險;自建還要加上 15kW 高密度機櫃的改造成本,每櫃數十萬起跳。
台灣哪些機房放得下 HGX 8 卡主機?
關鍵指標是每櫃供電至少 15kW 與對應冷卻能力,傳統 3 至 5kW 機櫃放不了。具備條件的機房集中在雙北、桃園、台中的新建或改建資料中心,部分採水冷背板或直接液冷。租用整機服務時這些由業者處理;若是自購托管,簽約前務必實地確認供電、冷卻與樓板承重,8 卡機含機櫃常超過 300 公斤。
租 H100 和用國際雲端比,哪個划算?
雲端 8 卡時租 2026 年約每 GPU 每小時 US$2 至 4,換算月費 NT$37 萬至 75 萬,帳面便宜;但加上儲存月費、每 GB US$0.05 以上的傳出流量費與時差支援成本後,總價常反超台灣在地整機的 NT$70 萬至 120 萬含全包方案。利用率超過五成、或資料有不出境要求的,在地租用幾乎都是更優解。
H100 租約裡最該注意哪些條款?
五條:一是明確標注 SXM 或 PCIe 版本與顯存規格;二是 SLA 與故障換卡時限,建議 4 至 8 小時;三是儲存效能寫實測值,訓練建議 NVMe 5GB/s 以上;四是頻寬是否獨享與是否計流量;五是退租時的資料抹除證明。版本標示不清是最常見的糾紛來源,報價單沒寫就要求補。
現在租 H100 會不會很快被 Blackwell 淘汰?
兩年內不用擔心。B 系列供貨集中在超大型雲端業者,台灣市場能穩定租到的時間點與價格都還不明朗;H100 的軟體生態最成熟,vLLM、TensorRT-LLM 優化最完整,租金還在逐季下修。務實策略是簽 6 至 12 個月合約,享受價格下行,等 Blackwell 在台租賃市場成熟再評估轉換。
沒有 AI 團隊的公司要怎麼開始用 H100?
從託管加支援的租用模式開始:業者裝好驅動、CUDA 與推論框架,你的工程師直接部署模型。第一步建議租單卡 PCIe 主機(月租 NT$80,000 級)跑開源 70B 量化模型驗證業務價值,通常 4 至 8 週能看到結果,再決定是否擴大。台灣業者的中文支援在這個階段價值很高,問題溝通不用隔時差。