💡 快速答案:企業要自建還是租用 AI 實體主機?
關鍵在使用率:GPU 月用量超過 400 小時,實體主機通常比雲端划算;使用率穩定逾六成、規劃五年以上才考慮自建。自建八卡 H100 首年約 NT$1,300 萬;戰國策八卡月租 NT$350,000,建議先租後買。
自建一套八卡 H100 的 AI 實體主機,硬體加首年營運的總投入約新台幣 1,300 萬元起,從決策到上線大約一季;租用同級設備月付 35 萬元,最快 2 小時開通。這中間沒有標準答案,只有適不適合你的使用率、團隊與資金結構。這篇指南把自建成本一項項拆開,對照租用方案的行情,再給你四個問題組成的決策框架——照著回答,租或買的答案自然浮現。
AI 實體主機是什麼?先對齊定義
AI 實體主機指為 AI 工作負載配置的專屬實體伺服器:GPU、CPU、記憶體、儲存整機獨享,不經虛擬化直接跑在硬體上,也就是俗稱的裸機。它可以是你自購後放進機房的設備,也可以是向主機商承租的專屬機器;共同點是效能可預測、資料位置明確,與多租戶共享的雲端 GPU 形成對照。市場上 GPU主機、GPU Server、AI 伺服器這些詞經常混用,採購時認「獨享實體、無虛擬化」這個定義,就不會被話術帶偏。
要不要「實體」,判斷點通常有三個:負載是否長期穩定、資料是否受個資法或產業法規約束、成本是否需要按月固定。三個都是,實體就幾乎是必選項,剩下的問題只是自建還是租用——這正是本文要拆的題目。
順帶說明,這裡談的「實體」不等於「放在自家辦公室」。絕大多數的 AI 實體主機都住在專業機房裡,你透過網路使用它,操作體驗跟用雲端幾乎一樣,差別在資源獨享與費用結構。想像成長租一整層樓與住飯店的差別,就八九不離十了。
自建 AI 實體主機:成本一項項拆
硬體採購
八卡 H100 的 HGX 整機行情約 900 萬到 1,200 萬元,含 NVLink 基板、雙路 CPU、1TB 記憶體與 NVMe 儲存。這還沒完:機櫃級交換器、儲存伺服器、備援電源與線材,預算再加一到兩成。GPU 世代每 18 到 24 個月更迭一次,財務上多以三到五年攤提,期末殘值的波動要自己吸收——上一代卡在新卡發表後的租賃市場價,掉三成是常態。採購管道也影響價格與交期:原廠整機保固完整但要排隊,系統整合商組裝彈性大、交期短一些,但 GPU、主機板與整機可能分屬不同保固主體,出問題時的責任切分,最好下單前就白紙黑字。
網路與儲存周邊
整機之外還有配套:機櫃級交換器、防火牆、備份儲存與頻寬月費。要對外提供服務,防護規格不能省,DDoS 清洗與入侵偵測都是月費項目;要做多節點訓練,節點間的高速網路一套下來也是六、七位數的投資。這些項目單看都不大,加總常佔整體預算一成以上,規劃時直接列進去,免得開機那天才發現連不出去。
機房與電力
八卡機滿載約 10 到 12kW,超過一般辦公室整層樓的供電與空調餘裕,基本上必須進機房。自建機房要處理高壓受電、UPS、發電機與消防審查;托管的話以機櫃計費,台灣標準櫃月租約 1.5 萬到 3 萬元,高密度供電另外計價。電費以每度 3.5 元、月耗 7,900 度估約 2.8 萬元,計入冷卻與供電損耗(PUE 約 1.5)後接近 4.2 萬元——夏月電價還會再高一截。
人力與維運
硬體故障排除、驅動與韌體更新、監控告警、資安修補,至少需要 0.5 到 1 名專職人力;台灣具 GPU 維運經驗的工程師年薪行情 90 萬到 150 萬元,而且市場上不好找。很多自建案的隱形成本不是設備,而是把最貴的資深工程師,耗在換風扇、追韌體相容性這種事情上。
加總起來
首年總投入:硬體 1,000 萬元級、機房與電力年約 70 萬元、人力 100 萬元級,合計約 1,300 萬元起;第二年開始每年營運支出仍有 170 萬元以上。這組數字,是後面所有比較的基礎,你可以把自家報價套進同一個框架重算。
租用 AI 實體主機:方案與價格全覽
租用等於把上面所有項目打包成月費。以戰國策的公開方案為例:H100 以 MIG 切成四分之一卡的方案月租 15,000 元,適合開發與中小型推論;單卡 80GB 月租 50,000 元;八卡 NVLink 叢集(卡間 900GB/s)月租 350,000 元;短期需求另有每小時約 120 元的時租。合約內含機房、電力、頻寬與硬體維護,故障換卡由供應商吸收,最快 2 小時交付,台灣機房對全台延遲低於 10ms。
把租用八卡三年的總價算給你看:35 萬乘以 36 個月等於 1,260 萬元,對照自建三年總成本約 1,300 萬到 1,700 萬元並不吃虧,而且免掉交期、殘值與人力三大風險。唯一的例外是年限拉到五年以上且負載滿檔,自建攤提的優勢才會浮現——但五年後你還想用今天的卡嗎?這一題留給決策框架來回答。
租用還有幾個不會出現在報價單上的效益:世代升級時換約就好,不用煩惱舊設備怎麼出售;備品由供應商準備,不用自己壓庫存;硬體保固糾紛直接消失,因為那是供應商跟原廠之間的事。對人力精簡的團隊,這些「不用煩的事」加起來,價值不亞於帳面上的價差。
自建 vs 租用:一張表看清楚
| 比較面向 | 自建 | 租用 |
|---|---|---|
| 初期投入 | NT$1,000 萬元級 | 0,月付 NT$15,000 起 |
| 交期 | 採購加建置 8 到 16 週 | 最快 2 小時 |
| 三年總成本(八卡 H100) | 約 NT$1,300 至 1,700 萬 | NT$1,260 萬 |
| 世代更迭風險 | 自行承擔殘值 | 到期換約升級 |
| 維運人力 | 0.5 至 1 名專職 | 供應商吸收 |
| 客製自由度 | 完全自主 | 高,通常提供 root 與 BMC 權限 |
| 適合對象 | 負載滿檔、五年以上規劃 | 多數企業、成長期團隊 |
這張表最容易被誤讀的一格是「三年總成本」:兩者數字相近,很多人因此直覺選自建,畢竟設備最後是自己的。但表格放不進去的是機會成本——自建的三、四個月交期裡,產品沒上線、團隊在等機器;而殘值那一行,遇到新世代發表就會重寫。資產負債表上多一台設備,對新創的估值談判也未必是加分。
表格之外還有第三條路:自購設備、托管到專業機房,俗稱託管或代管。它適合已經買了設備、但不想自建機房的公司——硬體是你的,電力、空調、實體安全交給機房。成本結構介於自建與租用之間,不過維運人力還是自己出,世代更迭的殘值也還是你的風險;本質上是自建的變形,不是租用的替代品。
混合策略:自建打底、租用調峰、雲端補位
規模到一定程度後,三者可以並存:折舊已攤平的自有設備跑基載;成長中的負載用租用實體吸收,保持財務彈性;真正突發的尖峰丟雲端,用完即關。這種階梯式配置在中大型客戶裡是常態,關鍵是第一天就用容器化與基礎設施即程式碼管理環境,讓工作負載能在三種資源之間搬移,不被任何一層綁死。一套成熟的 AI 伺服器解決方案,衡量標準之一就是能不能支撐這種可攜性。
順序也有講究:多數團隊的最佳路徑是「先租用、後自建」,用租用期量出真實使用率與負載型態,自建的規格書就有數據背書,而不是拍腦袋。反過來「先自建、再補租」的案例,多半是因為當初買太大,只好想辦法把閒置算力消化掉。
混合架構跑起來之後,治理要跟上:建一張使用率儀表板,把每個團隊、每個專案的 GPU 小時數攤在陽光下,再導入內部計費,讓申請算力的人感受到成本。沒有這一層,任何架構都會走向同一個結局——資源永遠不夠,但使用率永遠很低。算力管理的下半場,是管人性,不是管機器。
決策框架:回答四個問題
這四個問題的順序是刻意排的:先看負載、再看人、再看錢、最後才看未來。多數團隊其實卡在第一題就分出勝負——因為沒有人真的去撈過去三個月的使用數據,全憑感覺喊。把數據撈出來,這場租買之爭通常十分鐘就能結束。
- 使用率會超過六成嗎?拿過去三個月的 GPU 小時數除以 720,低於四成先租;高於六成且可持續,才有自建的討論空間。
- 有專職維運人力嗎?沒有、也不打算養,直接選租用——把工程師時間花在模型上,投報率高得多。
- 資金偏好資本支出還是營運費用?新創與成長期公司多半偏好月付;有折舊節稅需求的成熟企業可能偏好持有資產,這一題請財務長一起回答。
- 十八個月後的規模想像得到嗎?想像不到,就不要用今天的猜測買三年後的硬體;租約的彈性,正是為這種不確定性存在的。
我們輔導客戶時最常看到的錯誤,是用「長期租比買貴」一句話就跳進自建,卻沒把三個月交期的機會成本、第一年只有四成的使用率、世代更迭的殘值跌價放進試算表。四題答完如果還是五五波,先租六個月,用真實數據重算一次,答案通常就很清楚了。市場上領先的AI算力服務平台都支援月租起步,試錯成本比十年前低太多。
分享一個實際案例:一家中部的製造業客戶,原本打算直接自建八卡機房,預算都編好了。我們建議先租三個月量測,結果發現真實負載只需要兩張卡,尖峰也不過四張——最後改成雙卡月租加時租調峰,一年支出不到原預算的兩成,省下的錢轉頭投進資料標註,模型準確率反而提升更多。硬體採購最貴的錯誤,從來不是買貴,而是買錯規模。
導入時程與上線前檢核
自建路徑:需求規格 2 週、採購與交貨 8 到 16 週、機房整備與上架建置 2 到 4 週、驗收壓測 1 到 2 週,總計約一季到四個月。租用路徑:選商與時租驗證 1 到 2 週,簽約後 2 小時到 3 天開通,時程差距接近一個產品週期。不論走哪條路,上線前把下面五件事做完:
- 用 nvidia-smi 核對 GPU 型號、數量與 VRAM 容量,防止規格混充,截圖存檔當驗收紀錄。
- 跑 NCCL 與頻寬測試,確認 NVLink 900GB/s 與節點間網路達到合約標示值。
- 連續 72 小時滿載壓測,觀察溫度、降頻與風扇曲線,自建案順便驗機房散熱。
- 確認監控告警、備份策略與資料銷毀條款,個資法稽核時這些文件都用得上。
- 把 SLA 的上線率、換修時效與賠償方式寫進合約,口頭承諾一律不算數。
上線後的前 90 天當成試營運:每兩週看一次使用率與費用報表,校準當初的假設;第一個月結束時檢討監控告警的誤報率;第三個月拿真實數據回頭驗證租買決策,該升級就升級、該降規就降規。AI 實體主機不是裝潢好就入住的房子,而是需要持續調校的生產線——前三個月養成的管理習慣,會決定後面三年的投資報酬。
GPU 主機常見問題 FAQ
自建一台八卡 H100 的 AI 主機要多少錢?
整機約 NT$900 萬到 1,200 萬,加上機櫃、供電與首年維運,總投入常破 NT$1,300 萬;之後每年營運費仍有 NT$170 萬以上,還要承擔 18 到 24 個月世代更迭的折舊風險。
租用 AI 實體主機的月費是多少?
台灣行情:H100 MIG 四分之一卡 NT$15,000、單卡 NT$50,000、八卡叢集 NT$350,000;時租每小時約 NT$120。費用內含機房、電力、頻寬與硬體維護,免資本支出。
八卡 GPU 主機需要多少電力?電費多少?
含 CPU 與周邊約 10 到 12kW,月耗電約 7,000 到 8,600 度;以每度 NT$3.5 估,電費約 NT$2.5 萬到 3 萬,計入冷卻(PUE 約 1.5)後實際接近 NT$4.5 萬,夏月電價還會更高。
AI 主機用氣冷夠嗎?還是要上液冷?
單一八卡節點氣冷可行;機櫃功率密度超過 15 到 20kW 或多節點叢集,液冷的散熱效率與噪音表現明顯較好。台灣新建的 AI 機房多已預留液冷,自建前先確認機房條件。
多台 AI 實體主機組叢集需要什麼網路?
節點之間建議 InfiniBand 或 RoCE,頻寬 200 到 400Gb/s,並把運算、儲存、管理三種流量分開。沒有高速互連,多機訓練的擴展效率會大打折扣,等於白加機器。
AI 實體主機自建和租用哪個划算?
看使用率與年期:全時使用五年以上且有專職維運,自建攤提後較省;使用率不確定或 18 個月後規模說不準,租用月付 NT$350,000 起、風險低得多。多數團隊適合先租後買。
AI 實體主機和雲端 GPU 怎麼搭配?
穩定基載放實體(全時三年約為雲端隨需的六分之一)、突發尖峰與短期實驗走雲端,用容器保持工作負載可攜。多數台灣企業最後都走向這種混合配置,成本與彈性取得平衡。
自建 GPU 主機的交期要多久?
H100 等級設備採購常要 8 到 16 週,加上機房整備、上架與驗收,從決策到上線約一季到四個月;租用方案最快 2 小時到 3 天開通,時程差距接近一個產品週期。
租 AI 實體主機的合約和 SLA 怎麼談?
明訂上線率 99.9% 以上、硬體故障四小時內更換、備品保障與賠償計算方式;確認驅動更新、監控告警是否含在月費內,避免事後加價,口頭承諾一律要求寫進合約。
在台灣自建 AI 機房,電力和法規要注意什麼?
高壓用電要向台電申請契約容量,夏月電價較高;機房要通過消防與樓板載重檢核;處理個資還要符合個資法的安全維護義務。建議先做可行性評估,再決定自建或托管。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。