💡 快速答案:訓練 LLM 需要幾張 GPU 才夠?
7B LoRA 約 20GB,一張 H100 80GB 就夠;13B 全參數需四卡;70B 全參數破 1.3TB 要十六卡。戰國策單卡月租 NT$50,000,先用時租 NT$120 驗證再簽月約。
直接給結論:7B 模型的 LoRA 微調,一張 H100 80GB 就能起跑;13B 全參數要四卡;70B 全參數沒有八卡加 NVLink 就別碰。訓練用 GPU 主機的選型,九成答案藏在 VRAM 算式裡,剩下一成在資料管線。這篇給你一條實用的估算公式、三個規模的實戰配置、九種 OOM 解法,以及從實驗到正式訓練的租用策略,照著配就不會買錯。
先算 VRAM,再挑 GPU 主機:一條夠用的公式
訓練時的 VRAM 消耗分四塊:模型權重、梯度、優化器狀態、活化值。用 BF16 訓練搭 Adam 優化器,前三塊合計約是每參數 16 到 18 bytes;活化值跟批次大小與序列長度成正比,粗估再加兩到三成。所以全參數微調的速算式是:參數量 × 18 bytes × 1.25。7B 落在 140 到 160GB,13B 約 260 到 300GB,70B 直接站上 1.3TB 以上。
套公式之前先確認一件更根本的事:你的目標是讓模型學新知識,還是學新格式?學格式(回覆語氣、輸出結構、工具呼叫習慣)用 LoRA 就綽綽有餘;要灌進大量領域知識,得靠全參數搭配持續預訓練才有效,兩者的 VRAM 需求差一個量級。目標搞錯,後面的算式再精準都是白算,這是開案會議上最值得先吵清楚的一題。
LoRA 與 QLoRA 把這條式子大幅壓縮。LoRA 凍結基底模型(每參數只佔 2 bytes),只訓練小型適配器,優化器狀態跟著縮小百倍;QLoRA 再把凍結權重壓成 4-bit,每參數只剩約 0.6 byte。換算成實際數字如下:
| 模型規模 | QLoRA | LoRA(BF16) | 全參數(BF16+Adam) | 建議配置 |
|---|---|---|---|---|
| 7B | 約 10GB | 約 20GB | 140–160GB | 單卡/單卡/雙卡 |
| 13B | 約 16GB | 約 35GB | 260–300GB | 單卡/單卡/四卡 |
| 70B | 約 48GB | 160–180GB | 1.3TB 以上 | 單卡/四卡/雙節點十六卡 |
表中數字以 2K 到 4K 序列長度、小批次為前提。要特別提防序列長度這個變數:活化值隨序列長度線性成長,注意力矩陣在長序列下更兇,同一個 7B LoRA 任務,序列從 4K 拉到 32K,VRAM 需求可以翻倍。抓規格時永遠留兩成餘裕,是我們在機房端看過無數次教訓後的建議。
順帶解釋一個常見疑惑:為什麼推論只要每參數 2 bytes,訓練卻要 18?因為推論只需要放權重本身,訓練還要同時存梯度、優化器的一階與二階動量,加上反向傳播要用的中間活化值,四份東西疊在同一張卡上。理解這個結構,後面所有省記憶體的技巧——量化、LoRA、ZeRO 分片、梯度檢查點——你都能一眼看懂它到底在省哪一塊,而不是照著教學盲目開參數。
7B 模型:一張 H100 的甜蜜點
7B 是目前企業微調的主流尺寸,中文任務表現夠用,硬體門檻又低。LoRA 微調約 20GB VRAM,H100 80GB 單卡不只放得下,還有空間開大批次、拉長序列,訓練效率反而比擠在小卡上好得多。搭配 FlashAttention 與 BF16,10 萬筆指令資料跑三個 epoch,單卡一天出頭就能收工。
全參數 7B 則是另一回事:140 到 160GB 的需求,標準做法是雙卡搭 ZeRO stage 2 把優化器狀態切到兩張卡上;想硬塞單卡,就得靠 CPU offload,速度掉四成,除非預算真的很緊,不然不建議。
預算規劃上,7B 是時租的最佳客戶:NT$120 一小時,30 到 50 小時就能完成一輪像樣的微調實驗,四到六千元有找。先用小錢驗證資料品質,確認 loss 曲線與評測分數對得起期待,再決定要不要包月放大訓練,這個順序千萬別反過來。
7B 實戰範例:一個客服微調案的完整帳
拿真實案子走一遍。某 B2C 團隊要把開源 7B 模型調成中文客服助理:原始資料是三萬筆歷史對話,清洗、去重、改寫成指令格式後剩兩萬一千筆;LoRA rank 16、序列 4K、三個 epoch,H100 單卡六小時跑完一輪。含前期三輪資料迭代與超參數實驗,總共用掉約 60 小時時租,算力成本七千多元,不到一張中階顯卡的價錢。錢真正花在哪?工程師整理資料的那三週薪水。這個比例在小模型專案裡非常典型:算力從來不是成本大頭,資料才是。
13B 模型:單卡與多卡的分水嶺
13B 的 LoRA 微調約 35GB,單卡依然舒適,甚至還放得下一個並行的推論程序做即時驗證。全參數就跨過門檻了:260 到 300GB,四卡 320GB 剛好收下,而且這時 NVLink 900GB/s 的價值開始顯現,ZeRO-3 分片後每一步都要跨卡同步參數,走 PCIe 的四卡機在這種負載下會慢 25% 到 35%,租用前務必確認機型是 NVLink 版本。
時程感也給一個參考值:13B 全參數、兩百萬筆混合資料、序列 4K,四卡 NVLink 機大約一週上下收工;同樣的任務硬用雙卡加 offload 跑,時間拉到兩週以上,租金反而更貴。卡數乘以時程才是總成本,單看月租數字會做出錯誤決策,這筆帳每次開案都值得重算一遍。
13B 也是「該不該全參數」的決策點。多數企業任務上,LoRA 與全參數的成效差距只有一到兩個百分點,硬體成本卻差四倍。我這幾年給客戶的標準建議都一樣:先跑 LoRA,評測分數真的卡在天花板,再考慮全參數,九成的案子根本走不到第二步。
還有一個該在 13B 階段想清楚的問題:要更大的模型,還是更好的資料?我們的經驗是,兩萬筆高品質標註餵 13B,幾乎總是贏過二十萬筆髒資料餵 70B,而前者的硬體成本只有後者的四分之一。把預算從卡挪一部分去請標註與審核人力,常常是整個專案報酬率最高的一筆調整,只是這個決定在採購會議上很難開口。
70B 模型:多卡與 NVLink 的世界
70B 的三條路線差距極大,值得分開講。QLoRA 約 48GB,H100 80GB 單卡跑得動,拿來掃參數組合、驗證資料配比很好用,但訓練速度慢,正式版本不建議停在這裡。LoRA 需要 160 到 180GB,四卡是主流配置,月租 NT$200,000 等級,一到兩個月能完成一個像樣的專案。全參數 1.3TB 起跳,單機八卡的 640GB 得靠 ZeRO-3 加 CPU 與 NVMe offload 硬撐,速度損失明顯;認真要跑,雙節點十六卡加 InfiniBand 才是正解,這也是為什麼 70B 全參數幾乎都用租的,很少人自建。
時程與儲存要一起規劃。70B 的完整檢查點約 140GB,每兩小時存一次、保留最近五版,光檢查點就要 700GB 的 NVMe 空間;訓練排程以週計,建議直接簽月約。以戰國策的八卡機月租 NT$350,000 來估,一個 70B LoRA 加全參數收尾的完整專案,總預算落在幾十萬到百萬出頭,比多數人想像的低,前提是時程排得緊湊、機器不空轉。
分散式框架的選擇在這一級變成必修:DeepSpeed 的 ZeRO 生態最成熟、文件與踩坑紀錄最齊,是多數團隊的起手式;PyTorch 原生的 FSDP 與新版整合得更乾淨,長期維護性好;Megatron 系列的張量平行效率最高,但工程門檻也最高,通常是預訓練等級才需要。微調專案在 DeepSpeed 與 FSDP 之間二選一即可,把時間花在資料上,別花在框架的宗教戰爭上。
資料管線與 NVMe:別讓 GPU 等資料
GPU 使用率上不了九成,問題八成出在資料管線,而不是卡不夠力。三個檢查點依序看:
- 離線 tokenize:訓練迴圈裡做斷詞是最常見的浪費,語料先離線處理成 token 檔,訓練時直接讀。
- 串流格式:用 Arrow、WebDataset 這類支援順序讀取的格式,別讓幾百萬個小 JSON 檔把檔案系統拖垮。
- Dataloader 併行:worker 數開到 CPU 核心數的一半以上,prefetch 打開,讓 CPU 永遠比 GPU 快一步。
硬體端,NVMe 是唯一選擇:循序讀 7GB/s,對比 SATA SSD 的 550MB/s 是十倍級差距。檢查點寫入是另一個隱形殺手:140GB 的檔案寫到慢速磁碟,整個訓練停等十幾分鐘,一天存八次就蒸發兩小時的租金;寫到 NVMe,兩分鐘內結束。挑 GPU 實體主機時,規格單上儲存那一行值得多看兩眼,別只盯著 GPU 型號。
訓練中的評測與存檔策略,同樣直接影響租金效率:每隔固定步數跑一次驗證集、把 loss 與評測分數畫成曲線,發現過擬合就提早停,一個晚上的租金就這樣省下來;檢查點採「最近三版加最佳一版」的保留策略,兼顧回滾需求與磁碟空間。這些設定十分鐘就能寫完,回報率卻高得不成比例,偏偏最常被趕進度的團隊跳過。
常見 OOM 的九個解法,按成本從低到高排
CUDA out of memory 幾乎是每個訓練團隊的成年禮。動手改設定前,先看清楚爆在哪一步:模型載入就爆,是權重放不下,直接想量化或分片;第一個 batch 就爆,是活化值太大,批次與序列先降;跑了幾百步才爆,通常是評測階段或記憶體碎片在作怪,檢查 eval 迴圈與快取設定。對症下藥,比亂槍打鳥快十倍。
確認病灶後,解法有固定的順序,從免費的開始:
- 降 micro-batch,用梯度累積補回等效批次,對收斂幾乎無影響。
- 開 gradient checkpointing:活化值記憶體省 30% 到 40%,代價是訓練時間多兩成。
- 確認 FlashAttention 有啟用:長序列下省記憶體又提速,沒開等於白白浪費。
- 檢查驗證階段有沒有包在 no_grad 裡,eval 時殘留的梯度與快取是隱形殺手。
- 縮短序列長度:資料集 95% 樣本在 4K 以內,就別為了 5% 的長尾開 16K。
- 換 8-bit 優化器:優化器狀態直接砍半,精度影響輕微。
- 上 ZeRO stage 2 或 3,把狀態分片到多卡,多卡環境的標配。
- 改 QLoRA:單卡收下 70B,代價是速度與些微精度。
- 加卡或升級 VRAM:前面八招都試過,再花這筆錢。
順序很重要。我們看過不少團隊 OOM 一跳出來就急著加租硬體,回頭一查,gradient checkpointing 根本沒開,等於多付一倍租金買一行設定。先把免費的招式用完,再談加卡,這是對預算最基本的尊重。
從實驗到正式訓練:GPU 主機的租用策略
把整個專案的租用節奏排出來,大致是三段。第一段 POC:時租 100 到 200 小時,一兩萬元預算,把資料管線跑通、小模型先驗證方向。第二段正式訓練:超過 417 小時的月使用量就該轉月租,訓練專案通常一到三個月,簽 3 個月約走牌價,超過半年可以談 9 折。第三段上線:訓練完的模型轉去推論機或 MIG 分割,訓練機該退就退,別讓八卡機拿來跑 demo。
把節奏攤成週曆更具體:第一週搬資料、建環境、跑通小樣本;第二到三週做資料與超參數迭代,這段停在時租最划算;配方確定後進月租機跑正式訓練,70B LoRA 抓二到四週;收尾留一週做評測、量化與打包交付。照這個節奏,一個 70B 專案從開案到交付大約兩個月,機器閒置時間可以壓在一成以下,租金的每一塊錢都花在刀口上。
部署與搬資料的時間也要算進時程:主機本身 2 小時內可以開通,但資料上傳常被低估,1TB 走 1Gbps 約三小時,數十 TB 的語料建議直接問硬碟遞送,台灣機房的好處是真的可以人到現場交接。
正式訓練期間,把監控當成租金的保險:GPU 使用率、loss 曲線、磁碟水位三個儀表,配上訓練中斷的告警通知,半天就能架好。八卡機一小時的租金將近五百元,凌晨兩點掛掉沒人發現、早上九點才看到,一夜就蒸發三千多;監控的成本效益,不需要更多解釋。
資料合規最後提一句:訓練語料含個資時(客服對話、會員紀錄都算),留在台灣機房能讓個資法的跨境傳輸議題直接消失,金融與醫療業的法遵部門會非常感謝這個決定,這是海外便宜算力永遠補不回來的一塊。
GPU 主機常見問題 FAQ
微調 7B 模型的 GPU 主機要多少預算?
LoRA 微調一張 H100 單卡就夠,月租約 NT$50,000;只跑幾輪實驗的話用時租 NT$120,30 到 50 小時、四到六千元有找。全參數 7B 需要雙卡,月租約 NT$100,000,建議先確認 LoRA 成效不足再升級。
訓練 70B 模型要花多少錢?
70B LoRA 用四卡(月租約 NT$200,000),一到兩個月可完成,總價幾十萬;全參數需要雙節點十六卡等級,以八卡月租 NT$350,000 為基準估算,一季專案約百萬上下。預算緊的話,先用單卡 QLoRA 做實驗驗證方向。
7B 全參數微調需要多少 VRAM?
BF16 加 Adam 約每參數 18 bytes,再加活化值:7B 需 140 到 160GB,單張 80GB 不夠,標準配置是兩張 H100 搭 ZeRO;開啟梯度檢查點與 8-bit 優化器後,雙卡跑起來相當從容。
QLoRA 微調 70B 用單卡跑得動嗎?
可以。4-bit 量化後基底權重約 35GB,加上適配器與活化值,總需求約 48GB,H100 80GB 單卡放得下(2K 到 4K 序列)。適合掃參數與資料配比實驗;正式版本建議升四卡 LoRA,速度與精度都明顯更好。
訓練一直 OOM 該怎麼辦?
照成本由低到高處理:降 micro-batch 配梯度累積、開梯度檢查點、確認 FlashAttention 啟用、換 8-bit 優化器、上 ZeRO 分片,再來才是 QLoRA 或加卡。多數 OOM 前三步就解掉。
LoRA 跟全參數微調的硬體需求差多少?
差四到八倍。7B:LoRA 約 20GB(單卡)對全參數 140GB 以上(雙卡);70B:LoRA 約 160 到 180GB(四卡)對全參數 1.3TB(十六卡)。多數企業任務兩者成效差一到兩個百分點,先跑 LoRA 是業界通則。
H100 跟 A100 訓練 LLM 差多少?
H100 的 BF16 吞吐約為 A100 的 2 倍,FP8 全開常見 2.5 到 3 倍;NVLink 900GB/s 比 A100 的 600GB/s 高五成。同樣預算 H100 完工更快,總租金反而常更低。
訓練專案的 GPU 主機合約怎麼簽比較聰明?
拆兩段:先時租 100 到 200 小時驗證資料與流程(一兩萬元),再依訓練排程簽月約;專案一到三個月走 3 個月牌價,半年以上談 9 折。合約保留升級條款,13B 練完要上 70B 時直接加卡,不用解約重簽。
幾十 TB 的訓練資料要怎麼搬進機房?
10TB 以內走網路可行:1Gbps 專線一天內傳完,100Mbps 就要一週以上。數十 TB 建議改用加密硬碟遞送,當天入庫;台灣機房的優勢是可以人到現場交接與驗收,海外雲端做不到這件事。
訓練資料含個資,放台灣的 GPU 主機有差嗎?
差很多。個資法對跨境傳輸有告知與安全維護義務,資料出境等於多一層法遵風險;放台灣機房,資料全程留在境內,金融與醫療業的內控審查也好過。挑有 ISO 27001 認證的機房,合規文件一次備齊。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。