AI 模型訓練 vs 推理差在哪?一篇搞懂兩種工作負載的 GPU 配置邏輯

「我們要導入 AI,該租什麼 GPU?」這個問題沒辦法直接回答,因為它少了一個關鍵前提:你要跑的是訓練,還是推理?這兩種工作負載對硬體的要求差異之大,大到同一筆預算可能差出十倍的效果。把推理的需求拿去租訓練級的 8 卡 H100,是把錢丟進水裡;拿一張消費卡硬跑全參數訓練,是把時間丟進水裡。這篇文章把兩種負載的本質差異、顯存計算方式、硬體選型邏輯一次講清楚,最後給出讓同一批 GPU 發揮兩倍價值的混合策略。不需要 ML 背景,看得懂乘法就能跟著算完每一筆帳。

本質差異:一個在學習,一個在服務

訓練是讓模型「學會」:資料前向傳播算出預測,跟標準答案比對出誤差,再反向傳播計算每個參數的梯度,由優化器更新權重——這個迴圈重複數萬到數百萬步。推理是讓模型「工作」:只有前向傳播,權重完全不動,吃進 prompt、吐出 token,一次一步。

這個差異決定了一切。訓練是吞吐導向的批次作業:在乎「多久跑完一輪」,可以中斷續跑,對延遲無感,但要為梯度與優化器狀態付出巨額顯存,多卡之間還要頻繁同步。推理是延遲導向的線上服務:在乎「使用者等多久」,全年無休不能斷,顯存需求小得多,但要面對併發起伏與尖峰。用一句話記:訓練買的是算力與互連,推理買的是顯存容量與穩定服務。

營運節奏的差異同樣關鍵:訓練是「專案」,有開始有結束,排程可以彈性挪動,失敗的代價是重跑;推理是「營運」,有 SLA、有使用者體驗、半夜掛掉要有人爬起來處理,失敗的代價是商譽。這決定了兩者連租賃形態都不同——訓練適合短租衝刺,用完即退;推理適合長租加備援設計。把這兩種節奏塞進同一台機器、同一張預算表,就是多數 GPU 規劃失敗的起點。

顯存帳怎麼算:8-10 倍的差距從哪來

同一個 7B 模型,為什麼訓練要 110-140GB、推理只要 14-16GB?把顯存內容攤開就懂。訓練時,卡上要同時放四樣:FP16 權重(每參數 2 bytes,7B 約 14GB)、梯度(再 2 bytes)、AdamW 優化器狀態(FP32 動量與變異數,8 bytes,約 56GB)、外加隨 batch 與序列長度成長的激活值。合計每參數約 16-20 bytes,是純權重的 8-10 倍。

推理時,卡上只有 FP16 權重(14GB)加 KV cache(隨併發與 context 成長,單人使用約 1-2GB)。而且推理還有訓練沒有的省錢大招:INT4 量化把權重壓到四分之一,7B 從 14GB 縮到 5-6GB,品質損失多在 1-3% 內。這就是為什麼 LoRA 這類參數高效微調這麼受歡迎——它凍結原模型、只訓練低秩適配層,把「訓練帳」的梯度與優化器項目縮到趨近推理等級,7B 的 LoRA 訓練只要 18-24GB,詳細做法見 LLM 微調實戰。

推理端還有一個跟訓練相反的槓桿:批次。訓練的 batch 是為了學習效率,推理的 batching 則是把多個使用者的請求交錯塞進同一次運算,GPU 使用率從 20-30% 拉到 80% 以上,單卡吞吐翻好幾倍——代價是個別請求的延遲略升。這也是為什麼生產環境一定要用支援 continuous batching 的推論引擎:同樣的硬體、同樣的模型,服務容量差 5-10 倍,等於直接把月租除以五。

拿 7B 走一遍完整算式,你就再也不會忘記這個差距:權重 7B 參數乘 2 bytes 等於 14GB;訓練再加梯度 14GB、優化器狀態 56GB、激活值 10-50GB(隨 batch 與序列長度),合計 94-134GB。推理則是 14GB 權重加 KV cache——單人對話 1-2GB、20 路併發 10-20GB,合計 15-35GB。同一個模型,兩張預算表差出一個數量級;而且推理還能用 INT4 把權重壓到 5-6GB,訓練卻必須維持高精度,差距進一步拉大。

硬體選型:兩種負載看的規格完全不同

訓練機的三個關鍵規格:HBM 顯存頻寬(反向傳播是頻寬飢渴型運算)、卡間互連(NVLink 900GB/s 對上 PCIe 的 64GB/s,多卡訓練差距立現)、以及 ECC 記憶體與散熱穩定性(一輪訓練跑七天,第六天當機等於重來)。這些正是 H100 這類資料中心卡貴的理由,錢花在你看不到但訓練跑不掉的地方。

推理機的邏輯不同:單卡顯存容量決定放得下多大的模型,每 token 成本決定毛利,而消費級的 RTX 4090 在這兩項的性價比極高——這也是它成為推理神卡的原因。多卡互連對推理重要性低(除非模型大到必須跨卡切分),反而是多開副本做負載均衡更實際。一個常見的錯誤採購:為了「以後可能要訓練」而全上 H100,結果 90% 的時間在跑 7B 推理,單位成本是 4090 方案的三四倍。

那推理什麼時候輪到 H100?三種情況:模型大到單卡裝不下且要 FP16 品質(70B 以上)、長 context 場景讓 KV cache 動輒數十 GB、或高併發對外服務需要單點高吞吐。多卡策略也跟訓練相反:訓練的多卡是「合力算一件事」,要 NVLink 緊耦合;推理的多卡多數時候是「各自服務、負載均衡」,兩台單卡主機常常比一台雙卡主機更好用——還順便有了備援。

穩定性的要求也值得一提:訓練跑七天,中途壞卡靠檢查點續命;推理是全年無休,看的是故障率與換修速度。租用方案在這裡有隱形價值——硬體故障是主機商的問題,備品與換機時間寫在合約裡,比自購機器壞了現找料件安心得多。

功耗與散熱同樣是選型的一部分:一張 4090 滿載約 450W,8 卡 H100 主機整機動輒上萬瓦,電力與空調是機房等級的需求,這也是「把訓練機放辦公室角落」幾乎都以跳電或過熱降頻收場的原因。租用台灣機房的主機,電費、散熱、UPS、消防都包在月租裡;把這些隱形成本攤回自建方案上比較,帳面月租其實比看起來便宜。

對照表:同一個模型,兩種負載的配置

讀表的方式:橫著看是同一個模型從開發到上線的資源演變,直著看是你的預算能支撐的規模上限。多數企業的實際旅程是「租 H100 做一段時間的微調,上線後換成 4090 級推理機長期服務」——兩個階段、兩種規格、兩張報價單,合在一起才是專案的真實成本。

對照表也順便解釋了市場上一個常見的價格困惑:為什麼 H100 主機月租是 4090 的好幾倍,大家還是搶著租?因為它們根本不在同一個市場——H100 賣的是訓練與大模型推理的「能力」,4090 賣的是中小模型推理的「性價比」。拿 4090 的價格去砍 H100 的規格,或拿 H100 的規格去要求 4090 的價格,都是在浪費彼此的時間;先分清楚負載,報價單自然就看得懂了。

台灣案例:電子廠把同一筆預算用出兩倍效果

桃園一家電子組裝廠導入 AOI 瑕疵檢測的視覺模型加上產線知識問答的 LLM,最初的規劃是租一台 4×H100 主機包辦所有工作,月租七位數邊緣,財務直接退件。顧問重排後的架構:訓練需求(每月一次的瑕疵模型重訓、每季一次的 LLM 微調)改成短租 H100 主機,每次 3-5 天、月均成本約 NT$40,000-60,000;推理需求(產線 24 小時的即時檢測加辦公室的知識問答)交給兩台雙 4090 主機,月租合計約 NT$70,000。

結果是總月成本從原規劃砍掉超過一半,推理服務的 p95 延遲反而更好,因為推理機可以按產線位置就近部署、多副本分流。訓練短租的另一個好處是規格自由:下一季想試 32B 模型的微調,直接改租更大的配置,不用被自有硬體綁死。資料面也乾淨——檢測影像涉及客戶產品外觀,全程留在台灣機房,滿足客戶稽核的資料在地要求。

數字攤開更有說服力:原方案 4×H100 全年月租估 NT$180 萬年支出;新架構是訓練短租年約 NT$55-70 萬,加推理雙機年約 NT$84 萬,合計省下約四成,而且推理機的 p95 延遲從共用時代的不穩定,變成穩定壓在 0.8 秒內。財務長最買單的一句話是:「訓練的錢花在有訓練的月份,推理的錢才是固定成本。」預算結構跟著負載走,審預算的人也看得懂。

混合策略:讓 GPU 不再有下班時間

訓練與推理分開配置之後,還有一層進階玩法:時間分割。推理有明顯的日夜週期,辦公型應用晚上十點後使用率常掉到 10% 以下,這段時間正好拿來跑訓練:夜間排程啟動 LoRA 微調或資料處理,清晨完成後釋放顯存回到推理服務。一張 24GB 的卡,白天服務 10-20 路併發的問答,晚上跑 7B 的 QLoRA 迭代,等於一份月租買兩份產能。

落地這套策略的前提是服務層要俐落:推論引擎能快速卸載與重載模型、任務排程有優先權設計、監控能確認「早上八點推理服務一定回來」。這些工程細節在 AI 推論 API 自建教學 有完整展開。原則只有一條:先分清楚你的每一個工作負載是訓練還是推理,再決定它該住在哪種 GPU 上、住多久。想清楚這題,GPU 預算的效率至少差一倍。

風險控管兩條底線要守住:混用的那張卡,推理服務的恢復要有自動檢核——訓練任務結束後服務沒起來就告警加自動重啟;訓練任務要設資源上限與最晚結束時間,寧可訓練慢一天,不要早上八點推理服務起不來。時間分割是省錢技巧,不是走鋼索,把保險機制寫好才有資格用。

把整篇的判斷濃縮成四個問題:這個負載是一次性專案還是長期服務?顯存需求是權重的十倍(訓練)還是一點多倍(推理)?它需要多卡緊耦合還是多副本分流?尖峰在白天還是可以排進夜間?四題答完,該租 H100 還是 4090、該短租還是長租、該一台還是兩台,答案基本上自動浮現。之後每次規劃卡關,回來把這四題重答一次,比翻任何規格表都快。

「先租後買」的節奏也順帶講清楚:前六個月用租的,把負載形狀量出來——尖峰、離峰、訓練頻率、顯存水位;若使用率長期在七成以上且規格已經穩定,再評估買斷或簽長約換折扣。反過來,負載還在變的階段就買硬體,等於把不確定性直接鎖進資產負債表,那是財務最不想看到的一種浪漫。

找台灣在地的 GPU 主機夥伴

訓練短租 H100、推理長租 RTX 系列,這種分離式配置需要主機商同時具備兩種產品線與彈性租期。戰國策 GPU 主機提供 NVIDIA H100 與 RTX 系列多種配置,台灣機房、資料不出境,月租 NT$15,000 起,7×24 中文技術支援,訓練與推理可以分開租、隨階段調整。方案細節見 戰國策 GPU 主機,或加 LINE @119m、撥免費專線 0800-003-191,顧問會依你的工作負載組合試算最省的架構。

常見問題 FAQ

為什麼訓練需要的顯存是推理的近十倍?

訓練時卡上同時放權重(FP16 每參數 2 bytes)、梯度(2 bytes)、AdamW 優化器狀態(8 bytes)與激活值,合計每參數 16-20 bytes;推理只要權重加 KV cache。7B 的對比就是 110-140GB 對 14-16GB,差距近十倍。

RTX 4090 適合訓練還是推理?

推理是它的主場:24GB 顯存能跑 7B FP16 或 32B INT4,每 token 成本遠低於資料中心卡。訓練方面,單卡跑 7B-14B 的 LoRA/QLoRA 沒問題,但缺 NVLink 與 ECC,多卡全參數訓練效率差、穩定性風險高,大型訓練還是交給 H100。

H100 比 4090 貴好幾倍,貴在哪裡?

貴在訓練需要的三樣東西:80GB HBM 高頻寬顯存(頻寬約 3.35TB/s,是 4090 GDDR6X 的 3 倍以上)、NVLink 900GB/s 卡間互連、以及 ECC 與資料中心級穩定性。若你的負載是中小模型推理,這些溢價用不到,選 RTX 系列性價比更高。

推理的 KV cache 是什麼?會吃多少顯存?

KV cache 是推理時暫存注意力鍵值的快取,讓模型不用重算前文,代價是顯存:依架構每路 4K token 約 0.5-2GB,與併發數、context 長度成正比。20 路併發、8K context 的服務,KV cache 可達 20-40GB,規劃時要在權重外預留 20-40% 空間。

先租訓練機還是先租推理機?

看專案階段。要微調自有模型:先短租訓練規格(如 H100,一次 3-7 天),模型定版後換長租推理規格(如 4090 主機月租 NT$15,000-25,000)服務使用者。直接用現成開源模型的話,跳過訓練段,從推理機開始,POC 兩週內就能上線。

同一台主機可以白天推理、晚上訓練嗎?

可以,而且是中小團隊最省錢的玩法。推理服務入夜後使用率常掉到 10% 以下,排程在深夜卸載推理、跑 LoRA 微調,清晨恢復服務,一張 24GB 卡等於當兩台用。前提是任務排程、模型快速重載與開機自檢都要自動化,避免早上服務沒回來。

訓練和推理可以用同一種量化嗎?

不行,方向相反。推理常態使用 INT8/INT4 量化,省一半以上顯存、品質損失多在 1-3%;訓練必須維持較高精度(FP16/BF16 混合精度)以保梯度品質,QLoRA 雖然把凍結底模壓到 4-bit,可訓練的適配層仍是高精度。拿 INT4 權重直接全參數訓練會學壞。

推理服務要怎麼估需要幾張卡?

公式:先定尖峰併發數與延遲目標,單卡容量 = 權重 + 併發×每路 KV cache + 20% 餘裕。例如 32B INT4(20GB)配 15 路併發(約 15-20GB),需 40GB 以上,即一張 48GB 卡或兩張 4090。上線後看佇列深度與 p95 延遲決定加卡時機。

訓練短租真的比長租划算嗎?

多數情況是。企業微調的節奏常是每月或每季一輪,每輪 3-7 天,短租 H100 的月均支出約 NT$40,000-80,000;同規格長租且大半時間閒置,月租是它的好幾倍。只有訓練排程滿到每月超過 20 天時,長租或買斷才開始划算。

邊緣推理和機房推理怎麼選?

延遲極敏感或斷網不可接受的場景(產線即時檢測、門店互動)放邊緣小型 GPU;需要大模型、集中管理與彈性擴充的(知識問答、文件處理)放台灣機房主機,網路往返 5ms 上下對多數應用無感。常見架構是邊緣跑小模型、機房跑大模型,各司其職。