💡 快速答案:AI 推論服務該選什麼樣的 GPU Server?
用延遲與併發回推:內部小服務用 H100 MIG 1/4(月租 NT$15,000);百路併發用單卡搭 vLLM。放台灣機房延遲 10ms 內,戰國策 2 小時可部署,先小規格上線再擴容。
推論用的 GPU Server,選型邏輯跟訓練幾乎相反:訓練追求算力堆疊,推論追求的是每一塊錢的 VRAM 能承載多少併發、每一毫秒延遲能換到多好的體驗。一張 H100 切成四份 MIG,月租 NT$15,000 就能撐起一個正式服務;主機放台灣機房,使用者延遲壓在 10ms 以內。延遲、併發與成本這三件事怎麼平衡,這篇一次講清楚。
推論與訓練要的 GPU Server,是兩種不同的機器
很多團隊訓練完模型,直接拿訓練機跑推論,這通常是浪費。兩種工作負載的資源結構差很多:訓練吃算力與卡間互聯,推論吃 VRAM 容量與對外網路;訓練是長時間平穩滿載,推論隨流量波動,尖峰與離峰常差五到十倍;訓練壞卡可以從檢查點重來,推論壞卡就是服務中斷,直接影響營收與 SLA。
| 面向 | 訓練 | 推論 |
|---|---|---|
| 核心資源 | 算力+互聯(NVLink 900GB/s) | VRAM 容量+對外網路 |
| 負載型態 | 連續數週滿載 | 隨流量起伏,尖峰是均值數倍 |
| 延遲要求 | 無感 | 首字回應 500ms 內 |
| 故障容忍 | 檢查點可恢復 | 需備援,中斷即損失 |
| 典型配置 | 四到八卡起跳 | MIG 分割到雙卡 |
實際案例:一個八卡訓練機拿來服務中等流量的聊天應用,GPU 利用率往往不到 15%,改成 MIG 或單卡之後,同樣的服務品質,月費從 NT$350,000 掉到五萬以下。推論的省錢之道,是把規格切到剛剛好,而不是把大機器塞好塞滿。
選規格前先把服務型態分清楚,三類的資源畫像完全不同:即時對話(客服、助理)延遲敏感,規格看尖峰併發;批次處理(摘要、貼標、資料清洗)延遲無感,規格看每日總量,排在離峰跑可以把利用率拉滿;檢索類服務(embedding、rerank)模型小但請求量巨大,吃的是穩定低延遲而不是大 VRAM。一個產品常常三種負載都有,拆開部署、各給各的規格,總成本會比全部塞進同一台大機器低得多。
延遲的三個來源:模型、網路、排隊
使用者感受到的等待,等於模型延遲加網路延遲加排隊延遲,三者要分開量測、分開優化,混在一起看永遠找不到瓶頸。
模型端看兩個指標:首字回應時間(TTFT)與每 token 生成時間。體感即時的門檻是 TTFT 500ms 以內、生成速度每秒 20 個 token 以上;7B 量化模型在 H100 上,TTFT 可以壓進 100ms 級,13B 也能守在 300ms 內。串流輸出一定要開:首字先出、後面慢慢吐,體感延遲直接砍半,是所有優化裡成本最低的一項。
網路端是台灣團隊最容易白白送分的地方。服務部署在美西,台灣使用者光是網路來回就吃掉 150 到 200ms;主機放台灣機房,全台延遲 10ms 以內,差距超過十五倍,任何模型端的優化都追不回這段。參考實測經驗值:
| 主機位置 | 台灣使用者 RTT | 適合的應用 |
|---|---|---|
| 台灣機房 | 10ms 以內 | 語音助理、即時客服、遊戲 NPC |
| 東京 | 約 35–50ms | 一般對話、文件處理 |
| 新加坡 | 約 50–70ms | 批次任務、非即時應用 |
| 美西 | 約 150–200ms | 離線處理、開發測試 |
排隊延遲則在流量尖峰現形:併發一超過服務容量,請求開始排隊,P95 延遲從一秒飆到十秒都有可能。監控永遠要看 P95 與 P99,平均值只會給你虛假的安全感。
容量規劃有一條反直覺的鐵律:平均利用率不要超過七成。排隊理論在這裡非常現實,利用率一過七成,等待時間開始指數上升;九成利用率的系統帳面上很省錢,實際上每個流量尖峰都在賭 P99 會不會爆。留三成餘裕不是浪費,是延遲穩定性的保險費,這筆錢省不得。
MIG 切割:一張 H100 當多台推論機用
H100 的 MIG 功能最多能把一張卡切成七個硬體隔離的實例,每個實例有自己專屬的 VRAM 與運算單元,彼此完全不搶資源,跟虛擬機的軟性分割是兩回事。常用切法:七個 1g.10gb 跑七個小型服務、三個 2g.20gb、或切成 1/4 卡等級的 20GB 分割。
20GB 的 MIG 實例能做的事比多數人想的多:7B 模型 AWQ 量化後約 5GB,剩下的空間全給 KV cache,撐 50 路併發沒問題;embedding 與 reranker 服務、SDXL 出圖、語音辨識,也全都在射程內。以戰國策的 H100 MIG 1/4 為例,月租 NT$15,000,是目前把正式 AI 服務推上線的最低門檻,很多團隊的第一個正式環境就從這裡開始,流量長大再原地升級。
MIG 跟雲端常見的 time-slicing 或 vGPU 要分清楚:後兩者是多個租戶輪流使用同一批運算單元,尖峰互搶、延遲抖動大;MIG 是實體切割,SM 與 VRAM 各自獨立,隔壁實例跑滿也不影響你的 P95。對延遲敏感的正式服務,這個差異值回票價,簽約前問一句「是 MIG 還是共享卡」,可以避開很多上線後查不出原因的延遲玄學。
MIG 不適合的場景也要講明白:70B 級模型、超長上下文的高併發服務、需要跨卡張量平行的部署,請直接上單卡或多卡。MIG 是省錢利器,但它解決的是「小服務裝大卡」的浪費,不是拿來硬跑大模型的魔法。
vLLM 還是 TensorRT-LLM?部署框架的選擇
裸的 transformers 推論不適合生產環境,挑一套推論引擎是上線前的必修課,主流就兩條路:
- vLLM:PagedAttention 把 KV cache 管理得像作業系統管記憶體,continuous batching 讓多路請求無縫插隊,吞吐比裸實作高 2 到 4 倍;安裝到上線一天內搞定,模型支援廣、社群活躍,絕大多數團隊的第一選擇。
- TensorRT-LLM:NVIDIA 的編譯式引擎,針對 H100 的 FP8 加速再擠出 30% 到 50% 吞吐與更低延遲;代價是每個模型都要編譯調校,版本升級的維護成本高,適合流量大且模型固定的服務。
我的建議順序一貫:先用 vLLM 上線,量測真實流量,等單卡吞吐真的見頂、流量又持續成長,再投資 TensorRT-LLM 的優化工程。順序反過來的團隊,常常是花三週優化了一個根本還沒有流量的服務。
量化是另一顆低垂的果實:AWQ 或 GPTQ 的 4-bit 量化把 VRAM 需求砍到約四分之一,多數應用精度無感;H100 上的 FP8 幾乎無損,吞吐再上一階。同一張卡,量化前後能服務的併發數常常差兩倍以上,上線前值得花半天做這件事。
還有一個越來越常見的進階需求:同一個基底模型要服務多個客製版本。與其一個客戶開一張卡,不如用 vLLM 的多 LoRA 掛載——一份 7B 權重常駐,幾十個輕量適配器動態切換,一張單卡就能服務一整批企業客戶,每個客戶的回覆風格與知識庫各自獨立。這是把單卡月租 NT$50,000 攤提到極致的玩法,做 SaaS 的團隊尤其該研究。
併發量估算:從使用者數回推卡數與月費
規格不用猜,四個步驟算出來:
- 抓尖峰同時對話數:一般抓日活躍用戶的 5% 到 10% 會同時在線。
- 換算 token 需求:每路對話生成中平均消耗每秒 20 到 30 個 token。
- 對照單卡吞吐:H100 跑 7B 量化模型搭 vLLM,混合負載總吞吐約每秒 2,000 到 3,000 token。
- 回推卡數:尖峰 token 需求除以單卡吞吐,再加三成餘裕應付突發。
套兩個實例。內部知識庫:300 名員工、尖峰 20 路併發,20 × 25 = 500 token/s,MIG 1/4 綽綽有餘,月費 NT$15,000,攤到每位員工每月 50 元。對外客服機器人:日活 3 萬、尖峰 200 路併發,200 × 25 = 5,000 token/s,雙卡從容應對,月費 NT$100,000,攤到每次對話不到一毛錢,比照真人客服每通十幾元的成本,帳很好算。
再補一個 RAG 知識庫的完整配置,因為它不是只有 LLM:embedding 模型與 reranker 各佔 2 到 4GB、7B 生成模型量化後約 6GB、剩下的空間給 KV cache,全部裝進一份 20GB 的 MIG 剛剛好,這也是 MIG 1/4 成為企業知識庫國民規格的原因。流量大了之後先把檢索與生成拆開擴容,瓶頸幾乎都出在生成端,檢索端用 CPU 機器就能撐很久。
延遲敏感的應用要再保守一點:語音對話這類 TTFT 要壓在 200ms 內的場景,單卡負載建議控制在額定吞吐的六成以下,留出反應空間,寧可多切一份 MIG 分流,也別讓尖峰把體驗拖垮。
GPU Server 的成本結構:租用、雲端與 API 的分界線
推論成本要用「每千次請求」來比,而不是只看月租數字。三條路線:雲端 API 按 token 計費,起步零成本,量大之後單價驚人;雲端 GPU 執行個體(八卡 p5 約 US$98 一小時,折算單卡全月約 NT$27 萬)適合流量分散多國的服務;台灣機房的 AI 實體主機月租固定,單卡 NT$50,000,流量翻倍成本不動,規模越大單位成本越低。
分界線的經驗值:每天穩定消耗超過 2,000 萬 token,自架就開始比 API 便宜;流量集中在台灣、24 小時在線的服務,實體租用對比雲端 GPU 可以省六成以上。成熟團隊的常態是混合架構:基載流量走實體 GPU Servers,行銷活動的爆量臨時開雲端接,活動結束就關,兩邊的優點都拿到。
拿數字驗證這條分界線。假設產品每天穩定消耗 2,000 萬 token:走 API 以低價方案估,月帳單約兩萬元起,看似便宜,但流量翻五倍帳單就翻五倍,而且資料要送出去;自架 MIG 月租 NT$15,000,同樣流量已經打平,再往上翻倍都不加錢,資料還留在自己手上。流量曲線往上走的產品,越早把基載搬回自架越省,這是財務與資安部門難得口徑一致的議題。
上線前的檢查清單:監控、擴容與備援
監控四件套先架好:GPU 使用率、VRAM 佔用、TTFT 的 P95、佇列深度。vLLM 原生就吐這些指標,Prometheus 加 Grafana 半天架完,上線第一天就該有儀表板,而不是等客訴進來才回頭找數字。
模型版本管理也要在上線前定案:新模型走灰度發布,先切 5% 流量觀察三天,評測分數與客訴都穩定再全量;舊版本保留可即時回滾的部署檔。推論服務的模型更新頻率比多數人預期的高,一個月一到兩次很正常,沒有發布流程的團隊,每一次更新都是在正式環境上賭博。
對外服務還要防濫用:單一 IP 與帳號的速率上限、輸入長度上限、內容過濾,這些不只是資安禮貌,更直接保護算力帳單——一支爬蟲用 32K 長度灌你的端點,一天就能把單卡吞吐吃光。速率限制在閘道層做,別等 GPU 滿載才處理。
擴容路徑先想好:MIG 1/4 到單卡、單卡到雙卡的升級,環境容器化之後是小時級的事,台灣業者的標準部署速度是 2 小時,尖峰活動前一天升級都來得及。合約端記得把「升級視為加購、原折扣延續」寫進條款,不然每次擴容都變成重新議價。
備援依服務等級配置:內部工具可以接受單點,對外營收服務至少要有降級方案,例如備一個量化更小的模型、或臨時切換雲端 API 頂著;關鍵服務直接 N+1 雙機分流,單台故障流量全導到另一台。對話紀錄的留存與去識別化照個資法規劃,保存期限、加密方式、刪除程序先跟法務對齊,上線後補救的成本是事前規劃的十倍不止。
GPU 主機常見問題 FAQ
推論用 GPU Server 最便宜多少能上線?
H100 MIG 1/4(20GB VRAM)月租約 NT$15,000,就能跑 7B 量化模型約 50 路併發,是正式服務的最低門檻;更小的實驗需求可用時租約 NT$120 一小時,先量測吞吐與延遲,再決定簽哪個規格。
100 人同時用的 AI 客服要幾張卡?多少錢?
尖峰 100 路 × 每路 25 token/s = 2,500 token/s;H100 單卡跑 7B 量化模型約 2,000 到 3,000,單卡貼緊、雙卡從容,月費 NT$50,000 到 100,000。
vLLM 可以提升多少推論效能?
相比裸 transformers,vLLM 通常帶來 2 到 4 倍吞吐,高併發下差距更大;再搭配 AWQ 4-bit 量化,VRAM 需求降到約四分之一,同一張卡能服務的併發數再翻倍以上。
H100 的 MIG 最多可以切幾份?
最多 7 個實例(1g.10gb ×7),常用切法還有 3 個 2g.20gb、2 個 3g.40gb,VRAM 與運算單元硬體隔離。適合把 embedding、rerank、小模型推論等多個服務裝在同一張卡上,彼此完全不干擾。
TTFT 要多快使用者才覺得即時?
經驗值:首字回應 500ms 以內、生成每秒 20 token 以上,對話就順。7B 量化模型在 H100 上 TTFT 可壓到 100ms 級;記得加上網路延遲,主機在台灣約 10ms、在美西 150ms 起,機房位置選錯就追不回來。
vLLM 跟 TensorRT-LLM 該選哪一個?
先 vLLM:一天內上線、模型支援廣、吞吐已比裸實作高 2 到 4 倍。等流量穩定成長、單卡見頂,再投資 TensorRT-LLM,配合 H100 的 FP8 可再擠出 30% 到 50%,但每個模型都要編譯調校,工程成本高不少。
推論服務放雲端 API 還是自架 GPU Server?
量小用 API 起步最快;每天穩定消耗超過約 2,000 萬 token 後,自架單卡(月租 NT$50,000)開始便宜,而且流量翻倍成本不變。資料敏感、延遲要求 10ms 級的應用,自架台灣機房幾乎是唯一解。
流量成長後可以中途升級方案嗎?
可以,標準路徑是 MIG 1/4 升單卡、單卡升雙卡,環境容器化後搬遷是小時級,台灣業者普遍 2 小時內完成部署,活動前一天升級都來得及。簽約時把「升級視為加購、原折扣延續」寫進條款,避免被重算新約。
推論主機的 SLA 跟備援怎麼談?
看服務等級:內部工具 99.5% 可用率夠用;對外營收服務談 99.9%(月停機 43 分鐘內)加賠償條款,並自備降級方案,例如備援小模型或臨時切雲端 API。關鍵服務直接 N+1 雙機分流,多一台月租就是保險費。
台灣機房對 AI 推論延遲的影響有多大?
台灣使用者連台灣機房 RTT 10ms 以內,連美西要 150 到 200ms,差 15 倍以上。文字對話勉強能忍,語音助理、即時翻譯、遊戲 NPC 這類應用直接決定成敗;加上資料留在境內符合個資法,是雙重理由選在地機房。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。