「GPU 租用平台」這個詞在 Google 上幾乎沒有認真寫過的中文內容——多數文章只回答「GPU 主機是什麼」或「多少錢」,卻沒有人講清楚「怎麼挑一個平台」這件事本身該看哪些指標。這篇不比價格,比的是評估架構:拿到一份報價單之後,你該追問哪七件事,才不會簽了約才發現規格跟想像的不一樣。
先講結論:台灣機房、規格透明到「幾張卡、什麼型號、多少記憶體」層級、最短租期與提前解約條款、SLA 賠償是否有實際條文、含不含電力頻寬——這五件事沒問清楚,價格再便宜都可能是陷阱。以下逐項拆開講。
指標一:機房在哪裡,決定的不只是延遲
GPU 租用平台常見的機房選項有台灣本地機房、香港、新加坡,或美西雲端服務商的資料中心。訓練型工作負載(跑一個晚上、幾天甚至幾週的批次任務)對延遲不敏感,機房在哪裡影響不大;但如果你的用途是高併發推理服務——也就是要把模型包成 API 給使用者即時呼叫——機房距離直接反映在使用者等待時間上。台灣使用者打到美西機房,一來一回的網路延遲就可能吃掉幾十毫秒,疊加模型本身的推論時間,體驗會明顯變差。
機房地點還牽涉法規與資安:金融、醫療、政府相關專案,資料是否能出境往往有明確規範,選到海外機房的平台,可能從一開始就不符合你的專案要求。租用前先確認清楚,比事後才發現要重新搬遷划算。
指標二:規格要問到「型號 + 記憶體 + 互連方式」,不是只看「幾張卡」
「一張 GPU」這句話資訊量太少。同樣講「一張卡」,可能是消費級的 RTX 5090,也可能是資料中心級的 H100 80GB HBM3;同樣講「八卡機」,用 NVLink 900GB/s 全互連的 SXM5 架構,跟用 PCIe 互連但沒有 NVLink 的機型,多卡協作效率可以差到數倍。評估平台時,至少要問清楚三件事:
- GPU 型號與顯存規格——例如 H100 80GB、H800,或更高階的 H200(HBM 顯存 141GB)
- 多卡互連方式——有沒有 NVLink,還是純 PCIe
- 主機的 CPU 與記憶體配置——例如搭配 AMD EPYC 第五代處理器、96 核心、1024GB 記憶體的主機,跟陽春的消費級主機板,在資料前處理與 I/O 吞吐上表現完全不同
規格模糊的報價單,通常代表對方自己也講不清楚後台實際配置,這是一個危險訊號。
指標三:MIG 切分卡——用得到嗎,平台有沒有提供
如果你的用量沒有大到需要整張卡——例如只是跑推論服務、生圖,或做小規模實驗——多數平台不會告訴你,其實可以只租四分之一張卡。這是透過 NVIDIA 的 MIG(Multi-Instance GPU)技術把一張實體 GPU 切分成多個獨立算力區塊,每個區塊有自己的顯存與運算資源,彼此互不干擾。市場行情裡,MIG 1/4 卡(約 20GB 顯存)月租大約 NT$15,000 起,是輕量需求最划算的入手方式,但不是每個平台都提供這個選項——很多平台只賣整卡或整機,逼你為用不到的算力付錢。挑平台時,直接問「有沒有 GPU 切分卡方案」,是很快篩掉選項的方法。
指標四:合約條件——最短租期、解約金、含稅與否
GPU 租用平台的合約細節,常常是報價單上看不到、簽約前才會被提起的部分:
- 最短租期——常見門檻是 3 個月,短於這個天數多半沒有月租優惠,只能走時租
- 提前解約金——中途解約要不要賠錢、賠多少,是議約時容易被忽略的條款
- 報價是否含稅——企業採購務必確認「含稅」還是「未稅」,兩者實際負擔可能差 5%
- 電力與頻寬是否內含——月租費裡有沒有包含機房電力,以及基本的網路頻寬(例如 100Mb/s 雙向、可 boost 到 1Gb/s),或是另外計費
把這幾項列成清單,逐條對照每家平台的報價單,比只看「月租多少錢」一個數字準確得多。
指標五:SLA 是一句話,還是一份有賠償條文的文件
「我們保證 99.9% 可用率」這句話,如果合約裡沒有寫清楚「達不到會怎麼賠」,就只是行銷話術,不是承諾。正式的 SLA 應該包含:可用率的計算方式、故障通報與回應時間、賠償機制(通常是依停機時數退還部分月租)。評估平台時,直接要求看 SLA 條文全文,而不是聽業務口頭保證。
七個指標一次比較
| 指標 | 該問的問題 | 警訊 |
|---|---|---|
| 機房地點 | 台灣本地還是海外?延遲如何? | 不主動說明機房位置 |
| GPU 規格 | 型號、顯存、互連方式為何? | 只講「高階顯卡」不講型號 |
| 切分方案 | 有沒有 MIG 切分卡選項? | 只能整卡整機租用 |
| 合約條件 | 最短租期、解約金、含稅與否? | 合約條款不願提前提供 |
| SLA | 有沒有具體賠償條文? | 只有口頭保證,無書面條文 |
| 服務模式 | 自助式還是有工程團隊代管? | 沒有中文技術支援管道 |
| 隱藏成本 | 頻寬、儲存、資料搬遷另外收費嗎? | 報價單刻意不列附加費用 |

指標六:自助部署還是有人幫你搞定
平台的服務模式大致分兩種:自助式(self-service),你自己在後台選規格、刷卡、拿到帳號密碼自己裝環境;代管式(managed),平台的工程團隊協助環境部署、軟體安裝,甚至後續的監控與故障排除都由對方負責。兩者沒有絕對的好壞,差別在於你的團隊有沒有內部的維運人力。如果公司裡沒有專職的 MIS 或 DevOps,選一家願意協助部署、支援中文溝通的平台,省下的時間成本,往往比省下的月租費更值錢;如果團隊本身技術能力強、只是缺硬體,純自助式平台通常單價更低,適合這種情況。
指標七:報價單裡的「隱藏成本」怎麼揪出來
低價報價單常見的幾個陷阱:頻寬另計(基本方案給的頻寬很低,稍微上量就要加購)、儲存空間另計(模型檔案跟資料集動輒數百 GB,超出方案內建額度後每 GB 都要收費)、技術支援另計(基本方案只有工單系統,電話或即時支援要升級方案才有)、資料搬遷費(合約到期或要換平台時,把資料搬出來可能被收一筆可觀的出站費用)。拿到報價單時,直接請對方列出「這個價格之外,還有哪些情況會產生額外費用」,比自己猜測更有效率。
不同用途,適合的平台配置也不一樣
選平台前,先想清楚你的工作負載屬於哪一種:大規模訓練(70B 級模型全參數訓練,需要八卡叢集與 NVLink 全互連)、小規模微調(7B–13B 模型的 LoRA 或全參數微調,雙卡到四卡通常足夠)、高併發推理(要對外提供 API 服務,重視延遲與機房位置,可能需要多節點分散部署),還是個人研究自用(不追求速度,MIG 切分卡或單卡時租就能滿足)。同一份需求規格清單,拿去問三家不同平台,得到的建議差異,往往就是平台專業度的最直接體現。
三個常見情境,示範怎麼套用這七個指標
光看指標清單還是有點抽象,直接用三種常見的團隊需求走一遍:
情境一:AI 客服新創,要對外提供即時 API
這種用途最在意機房地點跟 SLA——使用者在等回應,延遲直接影響體驗,而服務一旦掛掉就是真金白銀的營收損失。優先選台灣本地機房、有書面 SLA 賠償條款的平台,規格上通常單卡或雙卡搭配 MIG 切分就夠應付初期流量,等用戶量成長再擴充,不需要一開始就租八卡叢集。
情境二:大學實驗室,做模型訓練研究
延遲不是重點,重點是合約彈性跟成本可預測性。研究計畫常有經費核銷的截止日,建議優先確認最短租期、能不能配合計畫期程調整,以及報價單是否含稅、方便編列預算。規格上依模型大小抓,7B 到 13B 的訓練通常雙卡到四卡足夠,不用一開始就衝八卡規格。
情境三:行銷代理商,批次生成大量圖像素材
這類工作負載是間歇性的——有案子的時候大量跑圖,沒案子的時候用量趨近於零。這種情境下,時租選項跟切分卡方案比長約更划算,不需要為了少數幾個尖峰月份綁一整年合約,平常淡季改用 MIG 切分卡維持基本產能即可。
台灣 GPU 租用平台的實際行情
以目前市場行情,H100 等級的 GPU 主機月租價格帶大致落在:MIG 1/4 卡約 NT$15,000、單卡(80GB)約 NT$50,000、雙卡約 NT$100,000、四卡約 NT$200,000、八卡約 NT$350,000,時租約 NT$120/小時。這個價格帶可以做為評估其他平台報價是否合理的基準——明顯偏離這個區間的報價,不論偏高或偏低,都值得多問一句「為什麼」。
常見問題
GPU 租用平台跟雲端服務商(如 AWS、GCP)有什麼不同?
雲端服務商的 GPU 執行個體通常是隨用隨付、彈性最高,但長期持續使用的單價明顯較貴;台灣在地的 GPU 主機租用平台多半走月租或年約模式,單價較低,但彈性不如雲端隨開隨關。適合長期穩定負載的用戶,通常更划算選擇在地機房月租。
GPU 租用平台一定要簽長約嗎?
不一定,多數平台提供時租選項,適合短期驗證(POC)。但時租單價換算下來通常比月租高不少,長期使用建議先用時租測試環境相容性,確認沒問題後再轉月租或年約,年約通常還有進一步折扣。
怎麼確認平台講的規格是真的?
可以要求平台提供實際的系統資訊截圖或允許遠端登入確認(例如 nvidia-smi 指令輸出),正式簽約前的 POC 階段就是驗證規格真偽的機會,不要跳過這一步。
GPU 算力租用跟 GPU 主機租用是同一件事嗎?
本質上是同一件事,只是用詞不同。「算力租用」強調的是你買到的運算能力,「GPU 主機租用」強調的是實體硬體本身,兩者指向的都是同一種服務——租用配有 GPU 的伺服器來執行運算工作。
小型新創適合租用還是自購 GPU?
用量還在驗證階段、資金有限的新創,租用幾乎都是更好的選擇——不用一次投入數十萬到數百萬的硬體資金,也不用煩惱機房、電力、維護。等用量穩定成長到能明確計算出三年總持有成本比租用划算,再考慮自購。
延伸閱讀
戰國策 GPU 主機・戰國策 AI 伺服器
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:MIG 切分卡月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從單卡到八卡叢集,大規模訓練、小規模微調、高併發推理與個人研究自用,一次到位。