採購 AI 硬體伺服器時,九成的注意力都放在「要買哪張 GPU」,結果 CPU、記憶體、儲存這幾塊隨便配一配,最後花了 GPU 的錢,拿到的整體效能卻打了折扣。這篇專門講 GPU 以外、企業採購 AI 硬體伺服器時容易忽略、但同樣關鍵的規格項目。
先講結論:一台平衡良好的 AI 硬體伺服器,CPU 核心數、記憶體容量、儲存速度跟網路頻寬,都要跟 GPU 的等級相匹配——任何一項規格明顯落後,都會變成拖累整體效能的瓶頸,而不是省下的成本。
CPU:不是配角,是資料前處理的守門員
AI 訓練與推論流程裡,CPU 負責把原始資料處理成 GPU 能吃的格式、協調任務排程、管理 GPU 之間的資料交換。高階 AI 硬體伺服器常見搭配 AMD EPYC 系列這類伺服器級處理器,核心數常見達到 96 核心等級,遠高於一般伺服器的配置。核心數不足時,CPU 端會成為瓶頸,GPU 會出現「等資料」的閒置時間,實際訓練速度低於理論值,即使裝的是最頂級的 GPU 也一樣。
記憶體:容量不夠,連載入模型都做不到
系統記憶體(RAM,以 DIMM 模組計算)的角色,是在資料進入 GPU 顯存之前的緩衝與暫存空間。處理大型資料集或大型模型時,記憶體容量不足會直接導致載入失敗或效能嚴重下降。高階 AI 硬體伺服器常見配置達到 1024GB(1TB)等級的系統記憶體,確保大型資料集的預處理與快取作業不會卡在記憶體不足的關卡上。企業採購時,記憶體容量應該跟預計處理的資料規模、模型大小成正比規劃,不是隨便抓一個「夠用」的數字。
儲存:讀取速度決定 GPU 會不會閒置等待
AI 訓練需要持續把資料從儲存設備讀進系統,如果儲存的讀寫速度跟不上 GPU 的處理速度,再強的運算單元也只能空等資料。企業採購 AI 硬體伺服器時,應該優先選用高速固態硬碟(NVMe SSD 等級),並確認儲存架構是否支援平行讀取,尤其是處理大量小檔案(例如影像資料集)的應用場景,儲存的 I/O 效能往往比容量更關鍵。
網路:多卡多節點協作的隱形骨架
單機內的多張 GPU 之間,靠 NVLink 這類高速互連技術交換資料;但如果訓練任務需要跨越多台伺服器(多節點),節點與節點之間的網路頻寬就變成關鍵規格。常見的網路規格會標示雙向頻寬(例如 100Mb/s 雙向),部分方案支援突發流量時 boost 到 1Gb/s。網路頻寬不足,分散式訓練的多節點協作效率會大打折扣,規劃多節點架構時,網路規格應該跟 GPU 數量與訓練任務的資料交換量一併評估。
AI 硬體伺服器規格採購檢查清單
| 項目 | 採購前該確認的問題 |
|---|---|
| CPU | 核心數是否足夠支援資料前處理與多 GPU 排程? |
| 記憶體 | 容量是否對應資料集與模型規模? |
| 儲存 | 是否為 NVMe SSD 等級,讀寫速度足夠嗎? |
| 網路 | 多節點架構的頻寬規格是否足夠? |
| 供電與散熱 | 是否針對高功耗 GPU 特別強化設計? |
怎麼判斷規格是不是「均衡」:一個簡單的比喻
把 AI 硬體伺服器想像成一支接力隊伍——GPU 是跑最後一棒、速度最快的選手,但如果前面幾棒(CPU 前處理、儲存讀取、記憶體暫存、網路傳輸)交棒速度跟不上,最後一棒的選手大部分時間都在原地等待接棒,整體隊伍的成績不會因為最後一棒特別快而提升多少。採購 AI 硬體伺服器時,與其把預算集中在讓「最後一棒」更快,不如確保整支隊伍的每一棒速度都能互相銜接——這正是為什麼專業的機房業者在部署硬體時,會把 GPU、CPU、記憶體、儲存、網路當作一整套系統去調校,而不是把 GPU 單獨拿出來當成唯一的採購指標。
常見的規格失衡案例
實務上常見的規格失衡,是企業把預算全部押在 GPU 型號上,搭配的 CPU、記憶體、儲存卻是相對陽春的配置——結果實際跑起來,GPU 使用率(前面提到的 MFU 概念)遠低於理論值,錢花了,效能卻沒有等比例反映。另一種常見情況是反過來,企業配置了頂級的周邊硬體,卻選了不符合實際需求的 GPU 規格(例如訓練任務選了推論優化的型號),同樣是資源錯配。平衡是選購 AI 硬體伺服器的核心原則,不是單一規格越高越好。
不同工作負載,規格配置的優先順序不一樣
沒有一套規格配置適合所有用途,依工作負載類型,該優先強化的環節也不同:大規模訓練任務,網路互連(NVLink、多節點頻寬)跟儲存吞吐量是優先項目,因為多卡協作與大量資料讀取是效能瓶頸最常出現的地方;高併發推理服務,則更在意記憶體容量與 CPU 排程效率,因為要同時處理大量獨立的請求;個人研究或小規模實驗,規格要求相對寬鬆,單卡搭配中等規格的周邊硬體通常就足夠,不需要為了預留擴充彈性,一開始就配置頂級的網路與儲存規格。採購前先確認自己的主要工作負載類型,能幫助你把有限的預算,花在真正會影響效能的地方。
租用 vs 自行採購:規格平衡誰來把關
自行採購 AI 硬體伺服器,企業需要自己具備足夠的技術判斷力,才能確保各項規格搭配得宜;透過租用 GPU 主機服務,這個平衡的責任轉移給機房業者——正規的服務商在部署硬體時,本身就會依照 GPU 等級去搭配對應的 CPU、記憶體、儲存與網路規格,企業不需要自己從零學會怎麼配置,直接使用已經過調校平衡的整套系統。
常見問題
CPU 規格不夠,升級會很麻煩嗎?
如果是自購硬體,CPU 升級通常牽涉到主機板相容性問題,不是單純換一顆處理器就好,可能需要整套系統升級,成本與複雜度都不低。這也是租用相對自購的優勢之一——需要更高規格時,直接更換方案即可,不用煩惱硬體相容性問題。
記憶體容量怎麼抓才夠?
概略原則是記憶體容量應該至少能容納你要處理的資料批次大小,加上作業系統與框架本身的開銷。實務上不確定的話,可以先用中高階配置測試,觀察是否出現記憶體不足的錯誤訊息,再依實際情況調整。
NVMe SSD 跟一般 SSD 差在哪?為什麼 AI 硬體伺服器要用 NVMe?
NVMe 是透過 PCIe 通道直接與主機板溝通的儲存介面,讀寫速度遠高於傳統 SATA 介面的 SSD,能大幅減少 GPU 等待資料的時間,對需要頻繁讀取大量資料的 AI 訓練任務特別重要。
網路頻寬對單機訓練也重要嗎?
單機內的多卡協作主要靠 NVLink 而非一般網路,對純單機訓練影響較小;但如果涉及跨機器的資料同步、模型檢查點儲存到遠端,或未來可能擴充成多節點架構,網路頻寬規劃仍然值得提前考慮。
怎麼知道自己該注重哪些硬體規格?
取決於你的工作負載類型——資料量大、批次處理多的任務更依賴儲存與記憶體;多卡多節點訓練更依賴網路與互連頻寬;推論服務更在意併發處理能力。建議先釐清主要用途,再對照本篇提到的檢查清單逐項確認。
延伸閱讀
戰國策 GPU 主機・戰國策 AI 伺服器
CPU、記憶體、儲存、網路全部平衡到位:AMD EPYC 處理器、大容量記憶體搭配 NVIDIA H100,台灣機房直供,月租 NT$15,000 起,不用自己煩惱規格搭配。