💡 快速答案:GPU 實體主機和雲端 GPU 哪個比較划算?
八張 H100 全時用三年:雲端隨需約 US$98/小時、總價約 NT$7,980 萬;租用戰國策實體主機月付 NT$350,000,三年約 NT$1,260 萬,價差逾六倍。低用量選雲端、穩定負載選實體。
先給結論的數字:八張 H100 全時使用三年,國際雲端隨需方案的總費用約新台幣 7,900 萬元,租用台灣機房的 GPU 實體主機約 1,260 萬元,差距超過六倍;但如果一個月只用一百小時,結論會完全反過來。實體與雲端沒有絕對優劣,勝負取決於使用率、資料敏感度與團隊型態。這篇文章把三年總持有成本攤開試算,再比效能隔離與資料主權,給你一套可以直接套用的決策方法。
GPU 實體主機與雲端 GPU:本質差異在哪
GPU 實體主機就是俗稱的裸機(bare metal):整台實體伺服器由你獨享,GPU、CPU、記憶體、硬碟與網卡都不與他人共用,中間沒有虛擬化層,作業系統與驅動版本自己決定。雲端 GPU 則是從大型資源池切出一個執行個體給你,底層實體機可能同時服務多個租戶,開關以分鐘計、計費以小時計。市場上講的 GPU主機租用、GPU Server 專屬方案,多半指前者。
這個差異衍生出兩邊的性格:實體主機像自有辦公室,穩定、可控、長住便宜,但搬遷擴充要時間;雲端像共享辦公室,說走就走、全球都有據點,但長住的房租驚人,隔壁鄰居吵不吵也不由你。後面所有的比較——成本、效能、法遵——都只是這個本質的展開。
市場風向的轉變也很能說明問題。前幾年的主旋律是什麼都上雲,這兩年愈來愈多 AI 團隊把穩定負載搬回實體,業界稱之為回流。原因不難理解:網站流量忽高忽低,雲端的彈性是剛需;模型訓練與推論的負載卻常常是一條平穩的直線,為用不到的彈性付出六倍價格,財務長遲早會找上門。工具沒有對錯,是負載型態變了,答案跟著變。
GPU 實體主機 vs 雲端:三年 TCO 試算
用市場公開行情,以「八張 H100、全時運轉、三年」為基準情境,匯率以 31 計:
| 方案 | 計費方式 | 月成本 | 三年總成本 |
|---|---|---|---|
| 雲端隨需(AWS p5.48xlarge) | US$98/小時 | 約 US$71,500(約 NT$222 萬) | 約 NT$7,980 萬 |
| 雲端三年承諾(約 55 折) | 預付與承諾用量 | 約 NT$122 萬 | 約 NT$4,400 萬 |
| 實體主機租用(如戰國策) | 月租 | NT$350,000 | NT$1,260 萬 |
| 自建自購 | 資本支出加維運 | 攤提約 NT$30 至 38 萬 | 約 NT$1,300 至 1,700 萬 |
三個解讀。第一,全時負載下實體租用約是雲端隨需的六分之一,就算雲端簽三年承諾拿到五五折,價差仍在三倍以上。第二,自建的總額看起來與租用相近,但把八到十六週的採購交期、專職维運人力、GPU 世代更迭的殘值風險放進去,對多數企業並不划算,這部分我們在自建指南裡拆得更細。第三,雲端帳單還沒完:資料傳出每 GB 約 0.09 美元,數十 TB 的資料集搬一次家就是數萬美元,高速儲存、固定 IP、跨區流量全部另計,實際帳單通常比試算再高一到兩成。
反向情境同樣要誠實算:若每月只用 100 小時,雲端單卡或實體時租(每小時約 120 元)的月支出僅一萬多元,遠低於固定月租。粗略的損益兩平點在每月 400 小時上下——超過就往實體靠,低於就留在彈性方案,這個數字建議每季重算一次。
自己動手試算時,注意三個敏感變數:一是使用率,它決定每 GPU 小時的實際單價,是整張表的靈魂;二是匯率,美元計價方案遇到台幣貶值,月費直接跟著漲,三年期的波動可以吃掉一成預算;三是隱藏項目,把傳輸費、儲存費、固定 IP 與支援費全部攤開,再用同一個口徑比較。試算表建議做成參數可調的形式,決策才跟得上變化。
效能與隔離:獨享和共享的實際差距
帳面規格相同,實際表現未必相同。雲端虛擬化層對純運算的損耗其實不大,通常只有數個百分點;真正的變數在共享資源——同一台實體機或同一段網路上的「吵雜鄰居」,會讓儲存吞吐與網路延遲出現波動。跑幾分鐘的推論感覺不出來,跑三週的訓練任務就會反映在毛刺、重試與 checkpoint 復原上;訓練中斷一次,重來的是好幾天的算力費與時程。
實體主機的優勢在可預測:資源百分之百獨享,效能曲線平直,今天的跑分和三個月後一致,容量規劃可以用簡單的乘法。你也能完全掌控驅動、CUDA 版本與核心參數,對需要壓榨最後一成效能、或被特定框架版本綁定的團隊,這個控制權很值錢。代價則是彈性:實體世界要從八卡擴到十六卡,是以天計的作業;雲端幾分鐘就能開新機——前提是配額申請得下來,H100 這類熱門機種在不少區域仍要排隊。
還有一個常被忽略的面向是除錯體驗。實體主機出問題,你拿得到 BMC、看得到硬體日誌,供應商換卡有明確 SLA;雲端執行個體異常,多數時候只能砍掉重開,對長時間訓練任務來說,這種黑盒子感很磨人。
效能一致性還有一層組織意義。內部的資料科學團隊排隊等算力時,可預測的資源才排得出可信的時程;今天跑八小時、明天同樣的任務跑十二小時,專案經理的甘特圖就只能用猜的。把算力當成內部服務來經營的公司,幾乎都會走向以實體為主的架構,原因無他:對內的服務水準承諾,需要穩定的地基。
資料主權與法遵:個資法下的現實問題
對金融、醫療、電商與承接政府案的公司,資料放哪裡不是技術題,是法遵題。個資法要求對個人資料的利用與國際傳輸進行評估,金融等特定產業另有主管機關的資料落地要求;把含個資的訓練資料上傳到海外區域,法務簽核的時間可能比訓練本身還久,案子直接卡死在流程裡。
GPU 實體主機放在台灣機房,資料的物理位置、存取紀錄、銷毀程序都可稽核,對全台用戶的服務延遲低於 10ms;國際雲端在台灣雖有區域,但 GPU 機種未必落地,尖端卡常要繞到海外區域使用——繞出去,法遵問題就整組回來了。我們協助金融客戶評估時,這一項常常直接決定答案,成本反而排在後面。
資安控管的顆粒度也不一樣。實體主機可以做到專屬防火牆、獨立網段、實體隔離,搭配硬碟加密與退租銷毀證明,拿去應付客戶的資安問卷與稽核,文件是現成的;共享環境則靠雲端業者的合規報告背書,多數情況夠用,但遇到特別謹慎的甲方——例如金融業的委外審查——「實體隔離」四個字的說服力,常常勝過十頁的認證清單。
什麼情境雲端反而划算?誠實盤點
把話說在前面:我們是主機商,但雲端在下列情境確實是更好的選擇,硬把客戶留在不適合的方案,最後只會兩敗俱傷。
- 間歇性負載:每月使用低於 400 小時,隨需計費幾乎必勝,不用懷疑。
- 短期實驗與新機種嘗鮮:最新世代 GPU 上市初期雲端先有貨,試完再決定要不要長租或採購。
- 全球多區部署:服務歐美用戶就用當地區域,自建海外機房的複雜度完全不划算。
- 突發尖峰:電商大促、行銷活動導流,尖峰過後資源即刻釋放,零閒置。
- 深度綁定託管服務:資料倉儲、MLOps 全家桶都在同一朵雲上,搬離的工程成本可能高過價差。
反過來,連續訓練、穩定推論流量、資料敏感、預算要可預測——四項中了兩項以上,GPU 實體主機就該進入評估清單,而且愈早試算愈好。
還有一個誠實的提醒是搬遷成本的不對稱:從雲端搬到實體,主要工作是資料下載與環境重建,痛一次就結束;之後若要再回雲端,反而簡單得多,因為容器化的工作負載天生就能上雲。換句話說,先實體後雲端的轉換成本低,先雲端後實體的轉換成本高——規劃架構時把這個不對稱放進去,路才不會愈走愈窄。
混合架構:台灣團隊最常落地的答案
實務上這不是單選題。我們看到最多的組合是:日常推論與例行再訓練放在台灣機房的實體八卡叢集,月租 35 萬元,成本固定、延遲低;實驗性專案與突發尖峰走雲端時租,用完就關。兩邊都用容器與基礎設施即程式碼(IaC)管理,工作負載可以互搬,不被任何一邊綁死,議價時也多一分底氣。
舉一個去年輔導的例子:一家電商客戶原本全數跑在海外雲端,月帳單約 60 萬元,其中推薦系統與客服機器人佔了八成用量,而且曲線平得像一條線。我們協助把這兩塊搬回台北機房的實體八卡主機,雲端只留實驗與大促備援,整體月支出降到 42 萬元,推論延遲從 130ms 掉到 8ms,客服對話完成率還小漲了一截。省錢是預期中的結果,體驗變好才是意外之喜。
起步方式也不必一步到位:先用實體時租(每小時約 120 元)或 MIG 小卡驗證負載型態一到兩個月,量出真實使用率再決定月租規模。市場上領先的AI算力服務平台交付速度已經到 2 小時等級,「先量測、再承諾」這條路徑幾乎沒有沉沒成本。把 AI 伺服器解決方案當成投資組合來配置,而不是一次性的採購案——這是我們給每個客戶的第一句建議,也是三年後回頭看最不會後悔的做法。
從雲端搬回 GPU 實體主機:遷移五步驟
決定搬回實體之後,照這個順序走,風險最低:
- 盤點依賴:列出所有用到的雲端託管服務,標記哪些有地端替代方案、哪些要改寫,這一步決定遷移的真實工作量,通常也是唯一會出現驚喜的一步。
- 容器化:把訓練與推論工作負載全部打包成容器,消除環境差異——這是整個遷移裡投報率最高的投資,做完後面每一步都變簡單。
- 資料搬遷:大型資料集評估實體硬碟寄送與專線傳輸的成本與時間,別忘了把雲端傳出費(每 GB 約 0.09 美元)算進預算。
- 雙軌並行:實體環境上線後,新舊環境同時跑兩到四週,比對效能、正確性與監控數據,確認一致再切流量。
- 正式割接與回顧:切換後保留雲端帳號與最小資源當災難備援,三個月後回顧成本與效能,修正容量規劃。
整個過程順利的話一到兩個月走完,容器化程度愈高走得愈快。最忌諱的是邊遷移邊改架構,兩件事攪在一起,出問題時連除錯的基準點都沒有;先原樣搬過去,穩定了再優化,老派但有效。
GPU 主機常見問題 FAQ
雲端 H100 一小時多少錢?
AWS p5.48xlarge(八張 H100)隨需約 US$98/小時,平均一卡約 US$12;其他 GPU 雲單卡約 US$2.5 到 4/小時。比價時要連網路、儲存與傳出流量費一起算,單看卡價會失真。
GPU 實體主機租用一個月多少錢?
台灣行情 H100 單卡月租約 NT$50,000、八卡 NT$350,000;對照雲端八卡全時月費約 NT$220 萬,全時負載下實體租用約為六分之一,一年價差可以超過 NT$2,000 萬。
裸機(bare metal)是什麼意思?
指不經虛擬化、整台實體伺服器由單一客戶獨享的部署方式:沒有 hypervisor 損耗、沒有吵雜鄰居,作業系統與驅動自己掌控。GPU 實體主機就是裸機形式的 GPU 伺服器。
雲端 GPU 的虛擬化損耗到底有多大?
純運算的損耗通常只有數個百分點,真正的影響來自共享網路與儲存的波動:長時間訓練的尾端延遲、毛刺與中斷率才是痛點,短測感覺不到,跑三週就非常有感。
把資料從雲端搬回實體主機要多少錢?
主要成本是雲端傳出費,約每 GB US$0.09:10TB 大約 US$900,50TB 約 US$4,500。訓練資料動輒數十 TB,出雲費是最常被低估的隱形成本,遷移前先試算。
AI 訓練該用實體主機還是雲端 GPU?
連續數週以上、負載穩定的訓練,實體主機划算且效能穩定;短期實驗、嘗鮮最新機種、或需要一次開上百張卡的彈性,雲端佔優。分界線大約在每月 400 小時使用量。
租 GPU 實體主機和自己買機器托管差在哪?
托管是自購設備放機房:前期投入 NT$900 萬起、維運自理、殘值自負;租用免資本支出、含維護與 SLA,月付 NT$350,000 起,退場彈性大。現金流緊的團隊多選租用。
雲端三年承諾方案能省多少?值得簽嗎?
預留執行個體或 Savings Plan 約可省四到五成,但等於放棄雲端最大的彈性優勢;若已確定三年全時使用,實體租用的總價通常仍低三倍以上,簽之前先做完整試算。
GPU 實體主機的解約條款怎麼看?
確認四項:最短租期、提前解約金(常見一到三個月月租)、資料銷毀證明、搬遷協助。月租方案彈性最大,適合先驗證負載,再決定要不要用年約換折扣。
台灣機房對推論延遲的差異有多大?
台北機房到全台用戶延遲低於 10ms,美西機房約 130 到 150ms。對話式 AI、即時推薦這類互動應用,體感差異非常明顯,這是實體主機放台灣的直接紅利。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。