💡 快速答案:GPU主機是什麼?和一般伺服器有什麼不同?
GPU主機是搭載資料中心級 GPU 的伺服器,如 H100 具 80GB HBM3 與約 990 TFLOPS 算力,專跑 AI 訓練與推論。企業可買斷、上雲,或向戰國策等主機商租用,單卡月租 NT$50,000 起。
GPU主機是搭載一張以上資料中心等級圖形處理器(GPU)的伺服器,靠數千到上萬個運算核心同時處理大量平行運算,主要用途是 AI 模型訓練與推論、3D 算圖與科學模擬。它與一般伺服器的差別不在等級高低,而在運算架構:CPU 擅長依序處理複雜邏輯,GPU 擅長同時處理海量重複計算。這篇用主機商視角,把 GPU 主機的定義、內部架構、適用場景與費用級距一次講清楚,幫你在十分鐘內判斷公司需不需要這台機器。
GPU主機的定義:不只是「有插顯示卡的伺服器」
GPU 原本是為了畫面繪製而設計的晶片。螢幕上數百萬個像素要各自計算顏色與光影,而這些計算彼此獨立,所以 GPU 的架構走向「核心數量極多、單一核心構造簡單」。後來研究人員發現,深度學習的核心運算——矩陣乘法與卷積——正好就是這種型態:同一種算式,重複幾十億次。於是 GPU 從繪圖晶片一路演變成 AI 運算的主力,裝滿這種晶片的 GPU主機,也成了企業建置 AI 能力時第一個要面對的硬體題目。
用具體數字感受一下規模:一張 NVIDIA H100 內含一萬六千多個 CUDA 核心,搭載 80GB HBM3 高頻寬記憶體,FP16 張量運算力約 990 TFLOPS;一台八卡機種的總算力,已經接近十多年前一整座國家級超級電腦。反過來說,不是所有工作都吃得到這種算力——程式必須具備高度平行性才有意義,這也是為什麼跑網站、開資料庫從來不需要 GPU,買了只是讓它閒置折舊。
另一個常見的混淆是資料中心卡與電競卡。兩者晶片系出同門,但資料中心卡配備 ECC 錯誤修正記憶體、通過全年無休運轉驗證、支援 NVLink 卡間互連,韌體與驅動的維護週期以年計;電競卡拿來跑兩天實驗沒問題,要扛連續三週的訓練任務,穩定性與原廠授權條款都會讓工程師睡不安穩。正規的 GPU 主機,用的一定是前者。
GPU主機與一般伺服器(CPU Server)的差異
兩者的關係是分工,不是取代。CPU 核心數量少但單核聰明,擅長處理充滿條件判斷、彼此相依的零散請求,網站、資料庫、ERP 都屬此類;GPU 核心多而簡單,擅長「同一種計算大量重複」的場景。拿模型訓練當例子:同一份影像辨識訓練任務,雙路 CPU 伺服器可能要跑三個星期,換成一台八卡 GPU 主機常能壓進半天,差距數十倍起跳。
| 比較項目 | 一般伺服器(CPU Server) | GPU主機 |
|---|---|---|
| 運算核心 | 數十個高複雜度核心 | 單卡上萬個平行核心 |
| 擅長工作 | 網站、資料庫、ERP、郵件 | 模型訓練、推論、渲染、模擬 |
| 記憶體頻寬 | 數百 GB/s(DDR5) | 單卡最高約 3.35TB/s(HBM3) |
| 單機功耗 | 約 0.3 到 0.8kW | 八卡機型 10 到 12kW |
| 建置成本 | 數萬到數十萬元 | 數百萬到上千萬元 |
| 擴充邏輯 | 加記憶體、加硬碟 | 加卡、組叢集(NVLink、InfiniBand) |
要注意的是,不少 AI 相關工作其實用 CPU 就夠:傳統機器學習如 XGBoost、小型資料分析、每天只有幾百次呼叫的輕量推論,都未必需要 GPU。判斷基準很實際——先在現有設備上量測,確認運算時間已成為業務瓶頸、而且工作具高度平行性,再考慮 GPU主機也不遲。
用詞也順帶說明:GPU Server、GPU 伺服器、GPU 運算主機,在台灣市場指的是同一類產品。查英文技術文件時改用 GPU Server 搜尋,規格資料會齊全許多。
拆開一台 GPU主機:五個關鍵零組件
一台機器的成色,把規格表拆成五個部位看就能掌握八成,這也是我們替客戶審規格時的固定順序。
GPU 與 VRAM:運算的主角
VRAM(顯示記憶體)決定你裝得下多大的模型。FP16 精度下模型約占「參數量乘以二」的空間:7B 模型約 14GB,一張 80GB 的 H100 綽綽有餘;70B 模型約 140GB,就得由多張卡分擔。記憶體種類同樣關鍵,HBM3 的頻寬可達 GDDR6 的近四倍,訓練吞吐常常卡在這一項,而不是核心數。
CPU 與系統記憶體:餵資料的後勤部隊
GPU 再快,資料前處理跟不上就只能空轉燒電。業界慣用的配比是每張 GPU 搭配 8 到 16 個實體 CPU 核心,系統記憶體至少抓總 VRAM 的兩倍:八卡 H100 共 640GB VRAM,系統記憶體就該配 1TB 以上,資料快取與載入管線才轉得順。
NVMe 儲存:資料集的起跑跑道
訓練資料集動輒數 TB,機械硬碟的讀取速度會讓百萬等級的 GPU 停下來等檔案。企業級 NVMe SSD 循序讀取可達 7GB/s,搭配資料預載與分片策略;更大規模的叢集還會外接平行檔案系統,避免儲存成為全場最貴的瓶頸。
NVLink 與對外網路:多卡協作的高速公路
多卡共同訓練一個模型時,卡與卡之間要高頻交換梯度與參數。H100 世代的 NVLink 提供 900GB/s 卡間頻寬,約為 PCIe Gen5 的七倍;跨主機叢集則靠 InfiniBand 或 RoCE,常見頻寬 200 到 400Gb/s。互連規格不足,從四卡加到八卡的實際增益可能只剩六成,等於一半的錢丟進水裡。
電源與散熱:最容易被低估的一環
一張 H100 滿載功耗可達 700W,八卡整機含 CPU 與風扇約 10 到 12kW,相當於三、四台家用冷氣同時全速運轉。這是 GPU 主機幾乎都住在專業機房的原因:一般辦公室的供電迴路與空調根本承受不了,勉強上線就是跳電與過熱降頻的循環。
GPU主機的六大應用場景
以下六類是台灣市場最常見的工作負載,可以對照自家需求看落在哪一格,以及各自對硬體的敏感點。
- 大型語言模型訓練與微調:從頭訓練需要八卡以上叢集與高速互連;LoRA 這類輕量微調,一到兩張卡就能起步,是中小企業最常見的切入點。
- AI 推論服務:客服機器人、推薦系統、文件摘要,重點在延遲穩定與單次請求成本,常用 MIG 切分或中階卡就能滿足。
- 生成式圖像與影音:Stable Diffusion、影片生成對 VRAM 容量與頻寬特別敏感,產出速度直接反映在設計人力成本上。
- 3D 渲染與動畫:建築視覺化、影視特效的算圖農場,吃 FP32 算力與大容量顯存,交期壓力大時常以卡數換時間。
- 科學運算與模擬:計算流體力學、分子動力學、金融風險蒙地卡羅模擬,學研單位與金融業的長期主力需求。
- 影音轉檔與串流:直播平台用 GPU 硬體編碼器並行轉碼,一台機器可抵過去數台純 CPU 伺服器,機房空間直接省下來。
如果你的工作同時橫跨好幾格,別急著買最大的機器。常見做法是先把最痛的單一場景搬上 GPU,量測產出與成本的變化,通常一到兩個月就能算出投資報酬,再決定要不要擴大到其他場景,風險小很多。
GPU主機的三種部署形態
同樣叫 GPU 主機,實際交付的形態差很多,先認識三種主流,規劃機房與預算時才不會抓錯方向。
塔式工作站:外觀像大台桌機,裝一到四張卡,可以放在辦公室角落,適合演算法團隊的日常開發與小型實驗。優點是取得容易、噪音尚可接受;缺點是散熱與供電上限低,插滿高階卡就會撞牆,也不適合對外提供正式服務。
機架式伺服器:標準 19 吋機櫃規格,高度從 2U 到 8U,住在資料中心,是企業級部署的主體。八卡機種幾乎都是這種形態,配備冗餘電源與遠端管理介面(BMC),要搭配機房等級的供電與空調才能穩定發揮全部效能。
MIG 切分與資源共享:NVIDIA 的 MIG 技術能把一張 H100 在硬體層切成最多七個彼此隔離的執行個體,每個個體擁有獨立的運算單元與記憶體。使用量還不大的團隊,租一片 MIG 切分的資源就能起步,成本只有整卡的幾分之一;而且因為是硬體級隔離,不會像傳統軟體虛擬化那樣彼此互搶資源。
三種形態可以並存混用:開發放工作站、正式服務放機架式、實驗性專案租 MIG,各花各的錢、各扛各的工作,預算的顆粒度也切得更細。
什麼企業需要 GPU主機?三個判斷訊號
訊號一:資料不能離開台灣。金融、醫療、政府標案受個資法與主管機關規範,把客戶資料丟到海外雲端訓練模型,法遵部門多半直接打回票。這時在台灣機房放一台實體 GPU 主機,或租用本地的 AI 伺服器解決方案,是最直接的合規路徑,連稽核文件都好準備。
訊號二:雲端 GPU 帳單連續三個月超過八萬元。這是我們輔導客戶時最常用的粗略門檻——時租費用跑到這個量,代表負載已經穩定,改用月租實體主機通常能省下三到五成,效能還更穩定可預期。特別是推論型服務,流量通常只會往上走,愈早轉成固定費率,毛利結構愈健康。
訊號三:工作負載是持續性而非一次性。每天都要跑的推薦系統、每週例行的模型再訓練,適合固定資源;一年只做兩次的概念驗證,用時租或雲端反而聰明。我們看過不少公司在專案初期衝動採購,八個月後那台八卡設備的平均使用率不到一成五,折舊照走,對財務就是純粹的失血。
反過來說,三個訊號一個都沒中,就先別碰硬體。用現成的 API 服務或小額時租把商業模式驗證出來,算力的錢永遠有地方花,晚三個月買,規格還更新。
取得 GPU主機的三種方式與費用級距
第一種是買斷自建。八卡 H100 整機行情約 900 萬到 1,200 萬元,再加上機房、供電與維運人力;財務上以三到五年攤提,適合負載滿檔、偏好資本支出的中大型企業。要留意採購交期常達八到十六週,而 GPU 世代大約 18 到 24 個月更迭一次,殘值風險自己扛。
第二種是向主機商租用實體主機。以戰國策為例:H100 以 MIG 技術切成四分之一卡的方案月租 15,000 元,單卡月租 50,000 元,八卡叢集月租 350,000 元,短期需求另有每小時約 120 元的時租;最快 2 小時完成部署,台灣機房對全台用戶延遲低於 10ms。免資本支出、不用養機房團隊,是目前台灣中小企業與 AI 新創的主流選擇,市場上領先的AI算力服務平台也多把「先小規模驗證、再逐步擴充」設計成標準升級路徑。
第三種是國際公有雲。AWS 的 p5.48xlarge(八張 H100)隨需價約每小時 98 美元,開關自由、全球部署方便,適合爆量型或跨國業務;代價是長期全時使用的總成本最高,三年下來可達實體租用的六倍以上,資料進出還有每 GB 約 0.09 美元的傳輸費。
怎麼選?一個粗略的判斷式:負載連續、資料敏感、預算要固定,選實體且租用先行;負載間歇、需要全球節點或最新機種嘗鮮,選雲端;兩種需求都有,就混合部署——這也是台灣多數 AI 團隊實際落地的形態。無論走哪條路,簽約前都拿本文的零組件清單逐項核對規格,把型號與頻寬寫進合約,後面的麻煩會少非常多。
GPU 主機常見問題 FAQ
GPU主機租用一個月多少錢?
台灣行情:H100 MIG 四分之一卡月租約 NT$15,000,H100 單卡約 NT$50,000,八卡叢集約 NT$350,000;短期需求可用時租,每小時約 NT$120。實際價格依頻寬、儲存與合約長度略有浮動。
買一台 GPU 主機要多少錢?
單卡工作站等級約 NT$30 萬到 60 萬;八卡 H100 整機約 NT$900 萬到 1,200 萬,再加機櫃、電力與維運人力,通常以三到五年攤提計算,並要預留 GPU 世代更迭的殘值風險。
GPU主機最多可以裝幾張顯示卡?
主流機型為 1、2、4、8 卡;八卡 HGX 平台以 NVLink 互連,卡間頻寬達 900GB/s。PCIe 擴充機箱可以裝到 10 卡以上,但互連頻寬低,只適合彼此獨立的推論型工作。
GPU伺服器的電力和散熱需求有多高?
一張 H100 滿載約 700W,八卡整機含 CPU 約 10 到 12kW,相當於三、四台家用冷氣全速運轉,一般辦公室無法負荷,需要機房等級的供電與散熱,高密度部署還會採用液冷。
跑大型語言模型需要多少 VRAM 的 GPU主機?
FP16 推論約需「參數量乘二」的空間:7B 模型約 14GB,一張 H100 80GB 綽綽有餘;70B 約 140GB,需要二到四張卡;全參數訓練連同優化器狀態,需求約為推論的八到十倍。
GPU主機可以當一般伺服器用嗎?
可以但不划算,等於用數百萬元的設備做數萬元設備的工作。實務上是反過來分工:一般伺服器跑網站與資料庫,GPU 主機專心跑訓練與推論,各自發揮架構優勢。
GPU主機跟電競電腦差在哪裡?
資料中心卡有 ECC 記憶體、NVLink 互連與全年無休運轉驗證,VRAM 也大得多(H100 80GB 對比遊戲卡 16 到 24GB)。電競卡跑短期實驗可以,長時間訓練的穩定性與授權條款都有疑慮。
租 GPU主機合約通常要簽多久?
常見月租與年約兩種:月租彈性高,年約多有八五折到九折優惠;專案型需求可用時租,每小時約 NT$120。建議先短約驗證效能與支援品質,穩定後再轉年約換折扣。
租用 GPU主機的 SLA 要注意什麼?
看四點:上線率保證至少 99.9%、硬體故障更換時效(理想四小時內)、賠償計算方式、頻寬是否獨享。沒寫進合約的口頭承諾,一律當作不存在,驗收基準也要入約。
台灣哪裡可以租到 GPU主機?
台北的資料中心是主力,對全台用戶延遲多在 10ms 以內。戰國策等本土主機商提供 H100 租用,最快 2 小時部署;電信商與國際雲端也有方案,但交期與計價結構差異大,建議先試算再簽。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。