💡 快速答案:AI 伺服器解決方案該怎麼規劃才不會買錯?
先看規模:7B 微調一張 H100 就夠;70B 全參數要八卡加 NVLink,跨節點才用 InfiniBand。戰國策 H100 單卡月租 NT$50,000、八卡 NT$350,000,2 小時部署,先租後買最穩。
AI 伺服器解決方案的規劃,核心其實只有三個問題:模型多大、資料多大、多久要看到結果。答案會直接決定你該停在單卡、升級到多卡 NVLink,還是跨入多節點 InfiniBand 叢集。這篇文章把三個階段的硬體架構、網路與儲存配套一次攤開,並附上我們在台北機房實際部署過的參考架構表。先對號入座,再談規格與預算,至少能省下三成冤枉錢。
規劃 AI 伺服器解決方案前,先找出規模落點
我們輔導客戶時最常看到兩種極端:需求明明只是 7B 模型微調,一開口就問八卡叢集的報價;或者反過來,想全參數訓練 70B,預算卻只編了一張卡。前者把錢燒在閒置算力,後者把錢燒在永遠跑不完的時程,兩種都很可惜。
判斷落點的方法很直接,用參數量對照 VRAM 需求:7B 模型的 LoRA 微調約需 20GB,一張 NVIDIA H100 80GB HBM3 綽綽有餘;13B 全參數微調要 260GB 上下,至少四卡;70B 全參數直接站上 TB 級,單節點八卡都得靠分片技術才塞得下。推論服務則改看併發量:一張 H100 跑 7B 量化模型,搭配 vLLM 可以撐住兩百路等級的聊天併發。
另外兩個維度也要一起看。資料量決定儲存與搬運方式,10GB 的資料集怎麼做都行,10TB 的語料就要認真規劃 NVMe 容量與上傳路徑;時程壓力則決定卡數,同一個訓練任務,四卡大約能把單卡的時間壓到三成,趕上線的專案,用卡數換時間通常是划算的交易;反過來,研究型任務沒有死線,單卡慢慢跑,預算可以省一半以上。
| 階段 | 典型場景 | 關鍵硬體 | 互聯技術 | 月租行情 |
|---|---|---|---|---|
| 單卡 | 7B–13B 微調、推論、生圖 | H100 80GB ×1 | PCIe 5.0 | 約 NT$50,000 |
| 多卡 | 13B 全參數、70B LoRA | H100 ×2–8 | NVLink 900GB/s | NT$100,000–350,000 |
| 多節點 | 70B 全參數、預訓練 | H100 ×16 起 | InfiniBand 400Gbps | 專案報價 |
把自己放進表裡的哪一列,後面的架構與預算討論才有意義。以下逐段拆解每個階段的關鍵決策。
第一階段:單卡 GPU 伺服器,八成團隊的正確起點
單卡不是妥協,而是多數場景的最適解。一張 H100 80GB 能做的事比想像中多:7B 與 13B 的 LoRA 微調、SDXL 與 Flux 的批次生圖、70B 量化模型的離線推論,全部在射程內。台灣多數導入 AI 的企業,第一年的實際需求都停在這一層。
單卡階段的規格重點
- CPU 至少 16 核心:資料前處理與 dataloader 全吃 CPU,核心數太少,GPU 會一直等資料。
- 記憶體抓 VRAM 的兩倍以上:80GB 卡建議配 192GB,資料快取與前處理都用得到。
- 儲存用 NVMe,2TB 起跳:循序讀取 7GB/s 等級,資料集與模型檢查點放得下、讀得快。
- 對外頻寬 100Mbps 起:模型下載、資料上傳與 API 服務共用,太窄會處處卡。
最常見的配置錯誤是預算全押 GPU,結果資料管線卡在傳統硬碟,GPU 使用率長期不到四成,監控畫面上 GPU 閒著,租金卻照燒。以租用來說,戰國策的 H100 單卡月租 NT$50,000,含機房電力與頻寬,申請後 2 小時內完成部署,拿來當第一階段的試金石剛剛好。
什麼時候該離開單卡?看三個訊號:訓練任務排隊超過一週消化不完、想做的模型尺寸從 13B 跳到 70B、或推論尖峰開始出現排隊延遲。出現兩個以上,就該評估下一階段,而不是硬撐。
第二階段:多卡 NVLink,卡數不是重點,互聯才是
從一張卡變多張卡,效能不會自動線性成長,瓶頸出在卡與卡之間的資料交換。走 PCIe 5.0,雙向頻寬約 128GB/s;走 NVLink,H100 卡間互聯是 900GB/s,整整七倍。分散式訓練每一步都要做梯度同步,互聯頻寬直接決定 GPU 是在算數,還是在等資料。
雙卡、四卡、八卡怎麼選
- 雙卡(共 160GB VRAM):7B 全參數微調、13B LoRA 開大批次、兩個服務分流,月租約 NT$100,000。
- 四卡(共 320GB):13B 全參數與 70B LoRA 的主流配置,月租約 NT$200,000。
- 八卡(共 640GB):單節點頂規,HGX 平台用 NVSwitch 讓八卡全互聯,70B 張量平行推論與 30B 級全參數訓練都可行,月租約 NT$350,000。
周邊規格要等比放大,這點很多人忽略:四卡機的 CPU 建議 48 核起、記憶體 512GB、NVMe 至少 8TB,否則資料管線餵不飽四張卡,錢等於白花。散熱與電源也是,四卡整機功耗站上 3kW,八卡超過 10kW,已經不是一般機櫃能收容的等級。
採購或租用時還有個魔鬼細節:市面上部分多卡 GPU Servers 只是把卡插在同一塊主機板上,卡間仍走 PCIe。規格單上有沒有 NVLink 或 NVSwitch,要白紙黑字確認,同樣是四卡機,分散式訓練速度可以差出三成以上。
第三階段:多節點 InfiniBand 叢集,分散式訓練的入場券
單節點八卡仍不夠,就得跨機器,而這一步的難度不在買更多卡,在網路。一般乙太網路的延遲與壅塞控制撐不起跨節點梯度同步,業界標準是 InfiniBand NDR:單埠 400Gbps,搭配 RDMA 讓資料繞過 CPU 直接寫入遠端記憶體,再用 GPUDirect RDMA 讓 GPU 對 GPU 直傳,延遲從毫秒級壓進微秒級。
有人會問,高速乙太網加 RoCE 行不行?技術上可行,成本也低一些,但無損網路的調校門檻高,壅塞一出現訓練效率就雪崩,自家沒有網路團隊的話,我不建議在正式訓練叢集上省這筆錢。
軟體層的複雜度也跟著跳級:叢集要有排程系統(Slurm 或 Kubernetes 二選一)、NCCL 通訊參數要按拓撲調校、監控要能看到每一條 InfiniBand 軌道的流量。這些工作沒做到位,帳面 400Gbps 的網路實際可能只跑出一半,租了頂規硬體卻拿不到頂規效能,是叢集案最常見的驗收爭議。
拓撲設計也有講究。主流的 rail-optimized 架構,是讓節點上每張 GPU 各配一張 400G 網卡,八卡節點就有八條獨立軌道,配上兩層 fat-tree 交換架構,任兩節點之間都能全速互通。聽起來離多數人很遠,但只要目標是 70B 全參數訓練,這些就是入場券,少一樣都跑不順。
坦白說,真正需要走到第三階段的台灣團隊不多,我的標準建議是先租後買:單節點八卡月租 NT$350,000,對比自購一台 HGX H100 整機動輒 NT$1,200 萬起,加上 8 到 12 週交期與機房改造,租用讓你在專案定案前保留全部退路。
網路與儲存配套,AI 伺服器解決方案成敗的隱形關鍵
GPU 只是引擎,資料進不來、結果出不去,再快的引擎都在空轉。一份完整的 AI 伺服器解決方案,儲存與網路至少要佔預算的 15%,這是第一次編預算的人最常漏掉的部分。
儲存的三層設計
| 層級 | 用途 | 技術選擇 | 建議規格 |
|---|---|---|---|
| 熱層 | 訓練資料、檢查點 | 本機 NVMe | 2–8TB,循序讀 7GB/s |
| 溫層 | 資料集庫、模型庫 | NAS 或物件儲存 | 20TB 起,10GbE 內網 |
| 冷層 | 備份、歸檔 | 異地物件儲存 | 依法規保存年限配置 |
資料的流動路徑照這個順序走:語料先落在溫層整理,開訓前搬進熱層 NVMe,訓練中檢查點寫回熱層,收工後歸檔到冷層。檢查點是最容易被低估的量:70B 模型完整檢查點約 140GB,訓練中每隔幾小時存一次,一週就堆出好幾 TB。熱層抓太小,訓練到一半磁碟滿了,整趟重來,這種事故我們每年都會接到幾件。
對外網路與資安
推論服務直接面對使用者,延遲就是體驗:主機放台灣機房,全台使用者延遲壓在 10ms 以內;放美西,一來一回 150ms 起跳,即時對話的體感差距非常明顯。資安面則盯著個資法:訓練資料含個資時,資料落地台灣、傳輸不出境,法遵溝通成本低一大截,金融與醫療產業的客戶對這點尤其敏感,內部稽核也好交代。
頻寬的量也要抓對:一個 70B 模型檔約 140GB,走 100Mbps 要三個多小時才載得完,換 1Gbps 只要二十分鐘;團隊如果常態性拉模型、同步資料集,頻寬等級直接決定工程師每天的等待時間,這筆隱形帳很少有人事先算。
三種參考架構範本,照表對號入座
下表是我們部署過幾百台 AI 實體主機後,收斂出最常用的三種組合,直接當成架構圖的文字版來讀就行。
| 元件 | 入門型(單卡) | 成長型(四卡) | 訓練級(雙節點 16 卡) |
|---|---|---|---|
| GPU | H100 80GB ×1 | H100 ×4+NVLink | H100 ×16+NVSwitch |
| CPU/記憶體 | 16 核/192GB | 48 核/512GB | 雙路 64 核/每節點 1TB |
| 儲存 | NVMe 2TB | NVMe 8TB+NAS 20TB | NVMe 16TB+平行檔案系統 |
| 網路 | 100Mbps 對外 | 1Gbps 對外+10GbE 內網 | InfiniBand 400Gbps 八軌 |
| 典型用途 | 微調、推論、生圖 | 13B 全參數、70B LoRA | 70B 全參數訓練 |
| 月租參考 | NT$50,000 | NT$200,000 | 專案報價 |
被問過最多次的問題是:要不要一步到位直接租四卡,省得之後搬家?我的答案幾乎都是不要。三種範本之間可以平滑升級,資料照搬、環境重建,一個工作天內完成;反過來,四卡機閒置三個月,燒掉的就是 60 萬。前提只有一個:軟體層從第一天就容器化,Docker 映像加版本鎖定,升級搬遷才不會變成災難現場。
另一個實務建議是把開發與正式環境分開:開發實驗用時租,約 NT$120 一小時,用完就關;正式訓練與服務用月租。兩邊用同一份容器映像,環境一致,帳單卻輕很多。
舉個實際的例子:一家電商團隊要做 13B 客服模型,先用入門型單卡跑了兩個月 LoRA 與資料迭代,確認效果後升到成長型四卡做全參數微調,一個月完成,再降回單卡跑推論服務。整個專案的硬體支出不到 40 萬;如果一開始就直上四卡,同樣的時程要多花將近一倍。
落地前的檢查清單:電力、散熱與維運
架構圖畫得再漂亮,機器進不了機房都是空談。GPU 伺服器的電力密度遠超一般 IT 設備:一台八卡 H100 整機滿載超過 10kW,相當於七台冷氣同時全速運轉,一般辦公大樓的配電與空調根本無法負荷,這也是自建方案最常卡關的一步。
- 電力:八卡機需要 10kW 以上的機櫃供電,自建要重新申請台電契約容量,時程以月計;月耗電 7,200 度起跳,電費一個月就是 NT$25,000 到 30,000。
- 散熱:每 kW 電力就是每 kW 熱量,氣冷機房的機櫃密度有上限,高密度部署要確認冷熱通道設計。
- 備援:UPS 撐不撐得過發電機啟動空窗?訓練任務有沒有自動檢查點保護?
- 維運:GPU 故障誰換卡、備品多久到位、是 24 小時值班還是上班時間支援,SLA 寫清楚。
- 合約:賠償條款、頻寬超量費率、期滿資料銷毀程序,一項一項確認,別靠口頭承諾。
交機當下還有一個常被省略的動作:驗收測試。跑一輪 nccl-tests 確認卡間頻寬達標、燒機 48 小時看溫度與降頻行為、實際載入自己的訓練任務量一次吞吐,有問題在第一週內反映,處理起來最快。租用方案的好處是這一步有原廠工程師陪你做;自建的話,這些全是自己的功課。
這份清單同時是「租用或自建」的判斷題:看完發現一半以上項目公司內部無人能接,答案就很清楚了。把機房、電力與硬體維運交給專業機房,團隊專注在模型與產品,是目前多數台灣 AI 團隊的走法,也是資源有限時報酬率最高的分工方式。
GPU 主機常見問題 FAQ
AI 伺服器解決方案的費用大概多少?
租用:H100 MIG 1/4 月租約 NT$15,000、單卡 NT$50,000、四卡 NT$200,000、八卡叢集 NT$350,000;自建八卡整機超過 NT$1,200 萬,還不含機房改造,先租後買比較穩。
GPU 叢集租一個月要多少錢?
單節點八卡 H100 月租約 NT$350,000,含機房電力與頻寬;簽 12 個月約可談到 8 折、約 NT$280,000。跨節點的 16 卡以上 InfiniBand 叢集多為專案報價,行情大致是節點數乘以單節點價再談量折。
NVLink 跟 PCIe 差在哪?訓練一定要 NVLink 嗎?
H100 之間 NVLink 頻寬 900GB/s,PCIe 5.0 雙向約 128GB/s,差七倍。單卡作業無感;多卡分散式訓練的梯度同步走卡間互聯,13B 以上全參數沒 NVLink 會慢三成上下,租用時建議指名機型。
什麼情況需要 InfiniBand 叢集?
單節點八卡(640GB VRAM)裝不下工作負載時才需要,典型是 70B 全參數微調與預訓練。InfiniBand NDR 單埠 400Gbps 加 RDMA,讓跨節點梯度同步不成瓶頸;13B 以下訓練用單機多卡就夠,別過度投資。
AI 伺服器的記憶體跟儲存怎麼配才不會卡?
經驗法則:系統記憶體抓 GPU VRAM 總量的 2 倍以上,儲存用 NVMe(循序讀 7GB/s 級),容量抓資料集加檢查點的 3 倍。70B 模型單一檢查點約 140GB,空間抓太小,訓練中途就得停機清磁碟。
自建 GPU 機房跟租用 AI 伺服器哪個划算?
八卡機自購約 NT$1,200 萬起,加上 10kW 機櫃、空調與 UPS 改造,三年攤提後每月成本仍逾 NT$40 萬,高於租用的 NT$350,000,且交期 8 到 12 週。算力需求未滿三年或仍在成長期,租用幾乎都是更優解。
AI 伺服器解決方案跟雲端 GPU 怎麼選?
看使用時數與資料位置:每月超過 400 小時、需求連續三個月以上,實體租用明顯便宜——AWS p5.48xlarge 隨需全月約 NT$222 萬,同級八卡台灣機房月租 NT$350,000。突發短期或要開海外節點,才是雲端的主場。
租 GPU 伺服器合約最短可以簽多久?
台灣業者普遍提供時租(約 NT$120/小時)與月租,3 個月約走牌價、6 個月約 9 折、12 個月約 8 折。建議先用時租或單月驗證工作負載,確認規格後再簽長約鎖折扣,合約記得保留中途升級條款。
GPU 伺服器下單後多久可以開始用?
租用現貨機型最快 2 小時完成部署,含作業系統、驅動與 CUDA 環境;客製的多節點叢集約 1 到 2 週。自購走原廠通路交期普遍 8 到 12 週,還要加上機房電力申請時程,急案幾乎只有租用一條路。
把 AI 伺服器放在台灣機房有什麼實質好處?
三件事:全台使用者延遲 10ms 以內,即時應用體驗穩;訓練與客戶資料落地台灣,個資法跨境傳輸的合規爭議直接消失;中文技術支援與現場除錯效率高,換卡補備品不用跨時區開工單。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。