H100 MIG 切割是什麼?小預算團隊的 AI 訓練解方(月租 15,000 起)

在生成式 AI 的浪潮下,H100 幾乎成為所有 AI 工程師夢寐以求的算力,但一張完整的 H100 動輒需要月租五萬起跳,對剛起步的小團隊 AI 專案來說門檻極高。所幸 NVIDIA 提供了一項名為 MIG(Multi-Instance GPU)的技術,能將一張 H100 切成多個獨立的 GPU 執行個體。透過 MIG 切割,你可以只租 1/4 卡就開始跑推論或微調,月租從新台幣 15,000 元起,大幅降低導入門檻。本文將完整拆解 H100 MIG 的原理、可切尺寸、成本結構,並提供實務上手範例,讓你評估是否需要一台便宜 H100 主機。

MIG(Multi-Instance GPU)技術原理是什麼?

MIG 是 NVIDIA 從 A100(Ampere 架構)開始導入的硬體級 GPU 分割技術,並在 H100(Hopper 架構)延續與強化。它允許將單張 GPU 的運算資源、記憶體、L2 快取、記憶體頻寬,依照預設模板切成最多七個彼此獨立的 GPU 執行個體(GPU Instance)。每個 MIG 執行個體對作業系統而言就像一張完整的獨立 GPU,可以被獨立分配給不同容器、不同 Kubernetes Pod、甚至不同租戶使用。

相較於過往的軟體級虛擬化(例如 NVIDIA vGPU),MIG 最大的差異在於「硬體隔離」四個字。H100 內部包含 144 組 SM(Streaming Multiprocessor),透過 GPC(Graphics Processing Cluster)為單位進行切割,每個 MIG 執行個體會分配到專屬的 SM 群、專屬的 HBM3 記憶體區塊、專屬的 L2 快取切片,以及專屬的複製引擎(Copy Engine)。這代表你在 1/4 卡上執行的推論任務,不會因為另一個租戶跑滿其 1/4 卡而受到效能干擾,QoS(服務品質)在硬體層面就已鎖定。

對於預算有限的小團隊 AI 開發者而言,MIG 的意義就是「不必再為了一個 7B 模型的推論任務,租用整張 80GB 的 H100 而浪費大部分算力」。你可以只租需要的那一塊,把剩下的預算投入資料標註、模型迭代或人力。

H100 MIG 可以切成幾種尺寸?

H100 SXM5 版本擁有 80GB HBM3 記憶體與 132 個啟用中的 SM,MIG 切割後最多可產生七個獨立執行個體。NVIDIA 為 H100 提供以下標準模板(Profile):

1g.10gb:1/7 運算 + 10GB 記憶體,最多七個。適合輕量推論、embedding 服務、批次資料處理。
1g.20gb:1/7 運算 + 20GB 記憶體,最多三個。適合中型 LLM 推論(7B 全精度或 13B 量化)。
2g.20gb:2/7 運算 + 20GB 記憶體,最多三個。適合輕量訓練或高並發推論。
3g.40gb:3/7 運算 + 40GB 記憶體,最多兩個。適合 13B 模型全精度推論、微調任務。
4g.40gb:4/7 運算 + 40GB 記憶體,最多一個。適合中型微調任務。
7g.80gb:整卡使用,不切割。適合 70B 級模型推論或訓練。

值得注意的是,MIG 切割並非任意組合,必須遵守 NVIDIA 定義的「Placement」規則,而且切分後無法在 MIG 執行個體之間做 NVLink 通訊,因此不適合跨執行個體的模型並行(model parallelism)。

硬體級隔離 vs 傳統虛擬化差異

過往在雲端跑共享 GPU,常見的做法是使用 NVIDIA vGPU 或時間切片(Time-Slicing)。這兩種方式都屬於「軟體級虛擬化」,底層 GPU 硬體本質上仍是被搶佔式共用。當同一張卡上的 A 用戶跑滿全部運算,B 用戶會明顯感受到延遲增加、吞吐下降,對於延遲敏感的線上服務相當致命。

MIG 則是完全不同的哲學。它在硬體層面把 GPU 「物理切分」為多張獨立卡,每個執行個體擁有自己專屬的 SM、快取、記憶體控制器與記憶體通道。這帶來三大優勢:

確定性效能:不會因鄰居租戶的行為導致 P99 延遲飆升,推論服務可以簽 SLA。
故障隔離:某個 MIG 執行個體發生 CUDA 錯誤或 OOM,不會影響其他執行個體。
安全隔離:記憶體位址空間硬體級隔離,滿足多租戶場景的資訊安全需求。

戰國策 MIG 方案:1/4 卡 15,000、1/2 卡 25,000

戰國策集團深耕主機代管與網路服務 26 年,長期為台灣中小企業、學研單位提供高性價比的算力解方:

TW-H100 x1(完整單卡):80GB HBM3、132 SM 全開,月租 NT$50,000。適合訓練 70B 級開源模型、跑 SDXL 大批次推論。
TW-H100 x2/1(1/2 H100,40GB):透過 MIG 3g.40gb 或 4g.40gb 模板切分,月租 NT$25,000。適合 13B–34B 模型微調、中型推論服務。
TW-H100 x4/1(1/4 H100,20GB):透過 MIG 1g.20gb 或 2g.20gb 模板切分,月租 NT$15,000。適合 7B 模型全精度推論、13B 模型 4-bit 量化推論、embedding 大量處理。

以每月僅新台幣 15,000 元的成本,即可獲得 1/4 張 Hopper 架構旗艦 GPU 的完整硬體隔離效能,這對於剛完成種子輪、預算緊繃的 AI 新創、或是校園實驗室的研究團隊,無疑是進入 H100 世界的最低門檻。

哪些工作負載適合 MIG?哪些不適合?

適合 MIG 的工作負載:

LLM 推論服務:7B、13B 模型的線上推論,只要記憶體塞得下,1/4 卡通常就足以應付數十 QPS。
小型模型微調:LoRA、QLoRA 這類參數高效微調,1/2 卡可以流暢跑 13B 模型的訓練迴圈。
多租戶開發環境:一張卡切成四份,分給四位工程師各自跑 Jupyter Notebook,互不干擾。
CI/CD 測試:模型自動化測試流水線,短時間高並發的推論驗證。
Embedding 與向量化:大量文件轉向量的批次任務。

不適合 MIG 的工作負載:

大型模型預訓練:70B 以上模型的完整預訓練,需要跨卡 NVLink 通訊,MIG 執行個體之間無法互通。
記憶體密集型任務:超過 40GB 顯存需求的模型推論,例如 Llama 70B FP16 需要至少 140GB,必須用整卡甚至多卡。
CUDA Graph 跨 SM 通訊:某些需要全 GPU 同步的高階並行演算法。

MIG 上手教學:nvidia-smi mig 指令範例

戰國策交付 MIG 主機時,通常已預先切好模板;但若你想理解或自行調整 MIG 配置,可參考以下 nvidia-smi 指令。

啟用 MIG 模式:


sudo nvidia-smi -i 0 -mig 1

列出可用模板:


sudo nvidia-smi mig -lgip

建立 GPU Instance 與 Compute Instance:


sudo nvidia-smi mig -cgi 9,9 -C

檢視當前切割狀況:


nvidia-smi

清除 MIG 切割:


sudo nvidia-smi mig -dci && sudo nvidia-smi mig -dgi

Kubernetes 用戶建議搭配 NVIDIA GPU Operator 與 MIG Manager,可宣告式管理各節點的切割策略。

MIG 租用 vs 買 A100 vs 買 RTX 4090 的成本對比

戰國策 TW-H100 x4/1(1/4 卡):月租 NT$15,000 × 36 個月 = 54 萬。包含機房電力、頻寬、冷氣、24 小時維運。
自購 NVIDIA A100 40GB PCIe:市價約 40–50 萬,加上主機板、CPU、記憶體、電源、機殼、機房 co-lo 費用,三年至少 80–100 萬。且 A100 已停產,保固與備品取得日益困難。
自購 RTX 4090 24GB:市價約 6 萬,看似便宜,但顯存 24GB、無 ECC、無 NVLink、驅動禁止資料中心使用,長期跑 AI 訓練穩定性遠不如 H100/A100。

MIG 方案的優勢在於「彈性」與「即用即付」。當你今天需要 1/4 卡、下季升級 1/2 卡、明年跳到整卡甚至多卡叢集,只需一通電話即可調整,不必扛設備折舊風險。

常見問題 FAQ

Q1:MIG 切割後的 1/4 卡效能會不會比整卡差很多?

單看該執行個體的效能,約等於整卡效能的 1/4,但由於硬體隔離,你不會受其他租戶影響。7B 模型推論在 1g.20gb 上仍可跑出接近 A100 40GB 整卡的吞吐量。

Q2:戰國策 MIG 方案是否綁約?可以短租測試嗎?

支援月租,最短 3 個月起。建議先短租評估工作負載匹配度,再決定是否升級規格或簽長約享優惠。

Q3:可以自己 SSH 進去用 nvidia-smi 切 MIG 嗎?

可以。戰國策交付的方案給予 root 權限,你可依照本文教學自行調整切割配置,或請客服協助預切好模板。

立即諮詢戰國策 MIG 方案

如果你的團隊正在評估如何以最低成本進入 H100 世代,MIG 切割方案是 2026 年最務實的答案。戰國策集團以 26 年主機服務經驗,為你把關硬體、機房與網路穩定性,讓你的工程師專心做模型。立即撥打免費專線 0800-003-191,由專人為你評估最合適的 MIG 規格與遷移方案,月租 NT$15,000 起。

線上諮詢:https://www.nss.com.tw/gpu/ · LINE @119m