分類：主機服務

💡 快速答案:H100 主機在台灣租用一個月要多少錢? 台灣 2026 年行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000,HGX 8 卡整機(SXM5、NVLink 900GB/s 互連)月租約 NT$700,000 至 1,200,000,年約通常再折 15% 至 25%。單卡適合 70B 以下模型推論與微調;要做 70B 級訓練或高併發生產服務,8 卡整機的 640GB HBM3 與 NVSwitch 全互連才是正解。選擇的關鍵在模型大小與卡間通訊需求,而不是預算上限。另外留意版本標示,SXM5 與 PCIe 的效能差距可達四成,報價單必須寫清楚,這是台灣市場最常見的租用糾紛來源。 問到企業級 AI 算力,2026 年的答案依然繞不開 H100。Blackwell 世代雖然已經出貨,但供應集中在超大型雲端業者,對台灣多數企業來說,H100 是「租得到、生態最成熟、工程師最熟」的主力選擇。這篇從版本差異、HGX 8 卡架構講到台灣月租行情與機房電力,目標是讓你在跟任何供應商談之前,就知道該問什麼、該付多少、哪些條款不能讓。文中的數字來自 2026 年上半年台灣市場的實際報價與我們自己機房的維運紀錄,拿去比價不會失真。 先搞懂三種 H100:SXM5、PCIe、NVL 同樣叫 H100,規格差距大到接近不同產品。SXM5 版是效能完全體:80GB HBM3、頻寬約 3,350GB/s、TDP 700W,透過 NVLink 提供 900GB/s 的卡間互連,只存在於 HGX 整機架構裡,不能單卡插在一般伺服器上。PCIe 版是通用體:一樣 80GB 但頻寬約 2,000GB/s、TDP 350W,插標準伺服器就能用,兩張卡可以用 NVLink 橋接器達到 600GB/s 互連。NVL 版則是推論特化型,94GB 顯存、頻寬拉到約 3,900GB/s,鎖定大模型推論市場。 項目 H100 SXM5 H100 PCIe H100 NVL 顯存 80GB HBM3 80GB HBM2e 94GB HBM3 記憶體頻寬 約 3,350GB/s 約 2,000GB/s 約 3,900GB/s 卡間互連 NVLink 900GB/s(NVSwitch 全互連) 橋接 600GB/s(限兩卡) 橋接 600GB/s TDP 700

💡 快速答案:2026 年 NVIDIA A100 還值得租用嗎? 值得,但僅限特定場景。A100 80GB 在台灣月租已跌到約 NT$40,000 至 70,000,是 H100 的一半以下;H100 訓練快 2.2 至 3.1 倍、配 FP8 推論快 3 至 4 倍,時間敏感的大型訓練仍該選 H100。反過來說,電腦視覺、推薦系統、13B 以下模型微調、FP64 科學運算這類吃不滿 Hopper 新特性的負載,A100 的每元效能反而更高。判斷關鍵是工作負載能否用到 FP8 與高頻寬,用不到就租 A100 省一半預算。拿不準就先量測一週 GPU 使用率,數據會直接告訴你答案。 A100 是 2020 年發表的產品,放在 GPU 世界已經是六年的老將,照理說早該退場,但 2026 年它在租賃市場反而迎來第二春:價格跌到歷史低點,而全球還有大量工作負載根本用不到 H100 的新特性。這篇把 A100 與 H100 的規格差距、實際效能差距、以及台灣租金行情攤開來算,幫你找出「付一半的錢、拿到夠用的算力」的甜蜜點,也講清楚哪些情況省這筆錢會害到自己。先說結論的形狀:這不是「新卡舊卡」的信仰題,是一道可以算出交叉點的數學題,而 2026 年的交叉點位置,對很多台灣團隊來說剛好落在 A100 這一側。 A100 租賃市場現況:價格雪崩後的第二春 先看行情。國際雲端市場的 A100 80GB 時租,已經從 2023 年高峰的每小時 US$2 以上,跌到 2026 年的 US$0.8 至 1.5;台灣在地租賃的 A100 80GB 單卡月租大約落在 NT$40,000 至 70,000,40GB 版更便宜,NT$30,000 上下就找得到。對照 H100 單卡月租 NT$80,000 至 150,000 的行情,價差直接是一倍以上。 為什麼跌這麼兇?供給面,大型雲端業者汰換下來的 A100 大量流入二手與租賃市場;需求面,追最新算力的錢全部湧向 H100、H200 與 Blackwell 世代。但這正是精打細算的团隊撿便宜的窗口:A100 的 CUDA 生態支援還很長,Ampere 架構在 CUDA 12 世代依然是一級公民,PyTorch、vLLM、TensorRT 的支援沒有任何縮水,跌的只有價格,不是能力。 挑 A100 還有一個版本細節:40GB 與

💡 快速答案:RTX 4090、RTX 5090、RTX PRO 6000 三張卡該怎麼選? 用顯存需求決定八成答案。模型或場景在 24GB 內、預算優先,選 4090,台灣月租約 NT$15,000 起;需要 32B 級量化模型、高頻寬推論或影片生成,選 32GB 的 5090,月租約 NT$25,000 至 40,000;要跑 70B 量化推論、大型場景渲染或需要 ECC 與 MIG 切分,直接上 96GB 的 RTX PRO 6000,月租約 NT$55,000 至 85,000。先量測顯存用量再選卡,是最不會後悔的順序。若同時有多個小服務要隔離,PRO 6000 還能用 MIG 切成 4 份 24GB,一台當四台用,這是消費卡沒有的彈性。 2026 年在台灣租 GPU 主機,工作站等級的選單上通常就是這三張:RTX 4090、RTX 5090、RTX PRO 6000。月租價位大約是 1 倍、1.6 倍、4 倍的階梯,但效能與容量的差距並不是等比放大,選錯的代價要嘛是預算浪費四成,要嘛是專案卡在顯存不足動彈不得。這篇把算圖、訓練、推論三大場景逐一對號入座,順便給你一套三分鐘就能套用的決策順序。先講答案的形狀:多數團隊的正解不是「哪張最強」,而是「哪張剛好」,我們把機房裡三種卡的實際出租數據和客戶的踩雷紀錄整理成這篇,你可以直接抄作業。 三張卡的定位與規格總表 先把身世講清楚。RTX 4090 是 2022 年的 Ada Lovelace 消費旗艦,24GB GDDR6X,便宜大碗,至今仍是全球算圖農場的主力;RTX 5090 是 2025 年的 Blackwell 消費旗艦,32GB GDDR7,頻寬直接拉到 1,792GB/s;RTX PRO 6000 則是 Blackwell 世代的專業工作站與伺服器卡,96GB GDDR7 帶 ECC 錯誤修正,CUDA 核心 24,064 個比 5090 還多,並支援 MIG 切分,一張卡可以切成最多 4 個獨立執行個體。 項目 RTX 4090 RTX 5090 RTX PRO 6000 架構 Ada Lovelace Blackwell Blackwell CUDA 核心 16,384 21,760 24,064 顯存 24GB GDDR6X 32GB GDDR7 96GB GDDR7 ECC

💡 快速答案:RTX 5090 主機租用比 4090 值得嗎? 看工作負載屬性決定。RTX 5090 配 32GB GDDR7 顯存,記憶體頻寬 1,792GB/s 比 4090 高出七成八,大型語言模型推論與影像生成速度快 1.5 至 1.8 倍;台灣月租行情約 NT$25,000 至 40,000,比 4090 貴四到六成。只要你的負載吃頻寬、或需要超過 24GB 顯存,換算每單位產出的成本反而更低,值得直上;若是純 FP32 運算或 13B 以下小模型,4090 仍是 CP 值首選。拿不準的話,先用一個月短租實測自己的工作負載,數據會給你最誠實的答案。 RTX 5090 在 2025 年初上市時一卡難求,通路溢價一度衝到定價的 1.8 倍;進入 2026 年供貨穩定下來,台灣的 GPU 主機租賃市場也陸續把 5090 機種端上檯面。問題來了:租 4090 可以省下三到四成月租,多花這筆錢上 5090 到底划不划算?這篇不堆形容詞,直接用數字回答,包括哪些工作負載 5090 快到有感、哪些情境 4090 依然是 CP 值解,以及台灣月租行情目前落在哪個區間。這一年多來我們機房裡 5090 的詢問度大概是所有卡種第一,但實際簽下去的客戶只有六成,剩下四成在算完帳之後選了別的配置,這篇就是把那筆帳攤開來寫。 RTX 5090 規格拆解:Blackwell 架構加 GDDR7 改變了什麼 先看硬規格。RTX 5090 採用 Blackwell 架構的 GB202 核心,21,760 個 CUDA 核心,比 RTX 4090 的 16,384 個多出約 33%;搭載 32GB GDDR7 顯存,走 512-bit 匯流排,記憶體頻寬達 1,792GB/s。這個數字要對照著看才有感:4090 的 GDDR6X 是 1,008GB/s,5090 直接高出 78%。TDP 從 450W 拉到 575W,介面升級 PCIe 5.0,Tensor Core 進入第五代,原生支援 FP4 低精度運算。 對 AI 工作負載來說,這串規格裡最關鍵的不是 CUDA 核心數,而是那 78% 的頻寬增幅。大型語言模型推論本質上是「把權重從顯存搬進運算單元」的搬運工作,每產生一個 token 幾乎要把整套模型讀一遍,頻寬直接決定 tokens/s 的天花板。GDDR7 改用

💡 快速答案:怎麼評估一家AI算力服務平台可不可靠? 用五構面打分:硬體世代(H100、NVLink 900GB/s)、網路(延遲低於10ms)、服務(2小時部署)、合規(ISO 27001)、生態擴充。各項1到5分加權,3.5分以下淘汰;戰國策等平台可要求實測驗證。 市面上每一家都自稱領先的AI算力服務平台,採購要做的不是聽故事,而是拿同一把尺量所有人。這篇給你一個五構面評估框架——硬體世代、網路傳輸、服務支援、合規資安、生態擴充——加上可直接套用的權重評分表,以及詢價必問的12個問題。照著走,一到兩週就能完成一輪嚴謹的AI伺服器解決方案評選,不會被簡報牽著走。 領先的AI算力服務平台構面一:硬體世代與規格誠實度 先驗最貴的東西。同樣寫「H100」,SXM與PCIe版本差很多:SXM版80GB HBM3、NVLink 900GB/s、功耗700W,多卡訓練的擴展效率遠優於PCIe版;兩者價格也差一截。詢價時要求供應商列出精確型號與形態,並提供nvidia-smi與nvidia-smi topo -m的實機截圖——拓撲圖看得出NVLink是否完整,這是分辨「真8卡GPU Server」與「8張卡湊一台」最快的方法。 驗超賣的三個方法 共用方案要問清楚切割技術:MIG硬體隔離有保證的記憶體與運算配額;軟體層的時間分片就有鄰居吵鬧問題,尖峰時段效能飄移。最實在的驗法是要求一段免費或低價的實測期,跑自己的benchmark:同一個模型、同一份資料,量吞吐與p95延遲,連續測三天看穩定度,數字會說話。第三招是問承諾:願意把「不超賣」寫進合約的平台,跟只在簡報上寫「效能保證」的平台,是兩種公司。 也別忽略卡以外的規格:CPU核數與記憶體會不會成為資料前處理的瓶頸、本地NVMe的容量與IOPS、儲存到GPU之間的頻寬。一張快卡配一顆慢碟,訓練時GPU使用率只有三成的慘劇,我們在客戶端看過不只一次——算力的錢花了,瓶頸在別的地方。 世代策略上,最新不一定最划算。新一代卡上市初期租金有嘗鮮溢價,上一代在成熟期的性價比反而漂亮;推論為主的負載,用H100世代的MIG切割常比追新卡更符合成本邏輯。評估時把「每單位預算的有效吞吐」當指標,而不是型號的新舊——平台願不願意陪你算這筆帳,本身就是專業度的試金石。 ▲ 硬體世代・網路・服務・合規・生態,一張評分表選

💡 快速答案:中小企業想導入AI,最便宜的GPU主機方案是什麼? 入門首選H100 MIG切割:1/4卡月租約NT$15,000、約20GB記憶體,可跑13B模型推論、RAG知識庫與LoRA微調。戰國策這類領先的AI算力服務平台支援MIG無痛升級到單卡NT$50,000,資料不必搬。 中小企業要開始用AI,不需要一次扛下整張H100。MIG切割方案把一張H100 80GB切成多個硬體隔離的分割,1/4卡月租約NT$15,000,能跑13B等級模型推論、RAG知識庫和LoRA微調,對多數導入場景已經夠用。這篇是寫給中小企業的GPU主機推薦入門:MIG能做什麼、不能做什麼、共用與獨享怎麼選,以及從PoC到正式上線的擴充路徑,幫你把第一筆AI算力預算花在刀口上。 MIG是什麼:一張H100切成多份的硬體隔離技術 MIG(Multi-Instance GPU)是NVIDIA在資料中心卡上提供的硬體切割技術,一張H100 80GB HBM3最多可切成7個獨立執行個體,每個個體有自己專屬的運算單元、記憶體與快取。重點在「硬體隔離」四個字:隔壁租戶的程式跑掛了、記憶體吃爆了,都影響不到你的分割。這跟傳統vGPU的軟體排程共享是兩回事,也是MIG適合拿來做多租戶算力服務的原因——你買到的資源是有硬體保證的,不是「大家擠擠看」。 會有這種設計,是因為推論階段的算力需求天生就是碎的:一個客服機器人用不滿整張H100,但你又不想跟別人裸共享。時間分片的共享做法忙時互相拖慢、閒時一起浪費;MIG把切割做在硬體層,每一份的延遲表現可預測,才有辦法對外承諾服務品質。這也是為什麼共用方案要問清楚切割技術——同樣叫「1/4卡」,MIG與軟體分片是完全不同等級的商品。 市面上常見的1/4卡方案,對應約20GB記憶體與約四分之一的運算力。使用體驗跟一張獨立GPU幾乎一樣:nvidia-smi看得到、CUDA程式直接跑、容器直接掛,程式碼一行都不用改。對開發者來說,MIG分割就是一張小一號的H100,該有的新世代架構特性都在。 效能面誠實說:分割之間共享同一張實體卡的功耗上限,單一分割的絕對效能當然不如整卡。但換個角度看,20GB記憶體配上H100世代的運算架構與HBM3頻寬,推論吞吐已經明顯優於上一代消費級卡,而且穩定性是資料中心等級——有ECC、有SLA、有人顧機房。 &#9650

💡 快速答案:GPU Servers日常維運要監控哪些指標? 三件事:用nvidia-smi與DCGM監控溫度(告警設80°C)、功耗與ECC錯誤;機房進風維持18到27°C;建立故障SOP,掉卡先記錄再重置。不想自組團隊,戰國策等託管方案月租內含維運,故障4小時更換。 GPU Servers的維運說穿了三件事:看得到、壓得住、修得快。看得到是監控——nvidia-smi與DCGM把溫度、功耗、ECC錯誤攤在儀表板上;壓得住是散熱與功耗管理,讓卡不降頻、電費不失控;修得快是故障SOP,掉卡、驅動出包時照表操課,不用半夜猜原因。這篇把三件事的實作細節,加上我們在機房現場累積的判斷經驗,一次整理給你。 GPU Servers監控基本盤:nvidia-smi先看懂,再上DCGM nvidia-smi是每個維運工程師的第一個工具。基本輸出先盯四個欄位:GPU溫度(負載中60到80°C屬正常)、功耗(H100 SXM上限700W)、GPU使用率、記憶體用量。進階用法:nvidia-smi dmon看每秒刷新的趨勢;nvidia-smi -q -d ECC檢查錯誤計數;nvidia-smi topo -m確認NVLink拓撲是否完整——8卡機少一條鏈路,多卡訓練效能可能直接掉兩成,而且不看拓撲根本不會發現。 把常用檢查包成腳本排程執行:每小時記錄一次溫度與ECC計數、每天比對一次拓撲與卡數、每週彙整一份健康摘要送進團隊頻道。這些都是十行內的shell腳本,卻能把「不知道什麼時候壞的」變成「幾點幾分開始異常」,對照工作負載紀錄,九成問題的因果關係一眼就看得出來。告警通道建議至少兩條,即時訊息加email,重大事件再加電話——單一通道漏接的機率,比多數團隊想像的高。 單機看nvidia-smi夠用,一個機櫃以上就該上DCGM(Data Center GPU Manager)。標準組合是dcgm-exporter把指標吐給Prometheus、Grafana畫儀表板、Alertmanager發告警。DCGM還提供主動健康檢查:dcgmi diag的分級診斷可以在上線前抓出體質不良的卡,比等它在訓練跑到第三天時暴斃便宜太多——一次8卡叢集的中斷重跑,浪費的算力就值好幾千元。 指標要留歷史。溫度、功耗、使用率、ECC計數至少保存90天,月報整理各卡的溫度分布與錯誤趨勢—

💡 快速答案:把GPU主機放在台灣機房有什麼好處? 三大優勢:延遲,台灣機房到本地用戶低於10ms、美西約140ms;法規,資料不出境符合個資法;資安,ISO 27001機房加7×24監控。以戰國策台北機房為例,2小時完成部署,8卡H100叢集月租NT$350,000。 把GPU主機放在台灣機房,對多數台灣企業是務實選擇而非情懷:本地用戶延遲低於10ms,美西動輒140ms;個資與客戶資料不出境,法遵那一關直接好過;機房持有ISO 27001認證,稽核文件一次備齊。這篇用實測數字與法規依據,把台灣機房的三大優勢講透,也誠實告訴你,什麼情況該把主機放到海外去。 延遲低於10ms的體感差異:從寫程式到即時推論 先講數字。從台北辦公室連到台北機房,round-trip延遲通常在5到10ms;連到東京約35ms、新加坡約55ms、美國西岸130到150ms。數字看起來都不大,體感差異卻很具體。工程師用SSH或VS Code Remote連進主機改程式,每敲一個鍵都要走一趟來回,140ms的延遲會讓游標像在水裡移動;Jupyter執行一格、拖一個檔案的黏滯感,一整天累積下來,團隊生產力真的有差。一天改幾百次程式、跑幾十輪實驗的迭代節奏下,每次來回省130ms,是看得見的工時。我們有客戶把開發機從美西搬回台北機房,工程師的第一句回饋是「終於不用等游標了」。 即時推論的延遲預算 對外服務的即時推論,影響更直接。假設你的AI客服要求端到端回應在500ms內:模型推論吃掉250ms,剩下的預算要分給網路來回、排隊與前處理。主機在美西,光網路就吃掉140ms,只剩110ms緩衝;主機在台灣,網路只花10ms,多出來的130ms可以拿去跑更大的模型或更長的上下文。語音對話、即時翻譯、線上遊戲AI這類延遲敏感場景,主機位置直接決定產品體驗的上限。 連線品質不只看平均延遲,還要看抖動與丟包。跨國海纜在晚間尖峰常有壅塞,延遲從140ms飄到200ms、丟包率上到1%,對SSH是卡頓,對串流回應是斷字,對語音應用是聽得出來的停頓。島內連線的抖動通常壓在2ms以內,這種穩定度對即時應用的價值,比平均值好看更重要。 批次訓練對延遲不敏感,但對資料搬運敏感。訓練資料集動輒數TB,1TB透過1Gbps專線上傳約需2.2小時;跨太平洋的公網傳輸常常只有幾百Mbps又不穩,10TB資料集光

💡 快速答案:租GPU主機簽約前要檢查哪些SLA和合約條款? 五大重點:SLA 99.9%等於每月停機上限43.2分鐘,須確認含GPU卡故障;硬體更換寫明4小時;資料清除依NIST 800-88出證明;退場移轉期至少7天;年繳折扣10%起。戰國策等台灣業者可把這些數字寫進合約。 租用GPU主機前,合約與SLA的細節決定你之後一整年的維運品質與退場自由。這份檢查清單把採購前該確認的事一次講清楚:SLA 99.9%換算成停機時間到底是多少、硬體故障4小時更換要怎麼寫才有效、資料清除與退場機制的必備條款、發票與租賃的會計處理方式。照著逐項核對,大約能避開我們在客戶端看過的八成合約糾紛。 SLA 99.9%的實際意義:先換算成停機時間再簽名 SLA寫99.9%,聽起來接近完美,換算之後才有感覺:一個月43,200分鐘,99.9%代表供應商每月最多可停機43.2分鐘而不違約;99.95%是21.6分鐘;99.99%才會壓到4.3分鐘。如果你的服務是對外收費的推論API,43分鐘的中斷可能等於一次公關事件,這時候就該爭取更高等級,或至少把「連續停機超過15分鐘須主動通知」寫進條款。 第二個要看的是計算基準。多數GPU主機合約的可用率只涵蓋網路與電力,不含GPU卡本身;換句話說,一張卡壞掉、機器還開著,可能不算停機。我們輔導客戶議約時,一定要求把「單卡故障視同部分服務中斷」寫入定義,否則對算力租賃來說,SLA形同虛設。 SLA的涵蓋範圍也要逐項確認。一份完整的GPU主機SLA,至少該分別載明網路可用率、電力可用率、硬體回應時效與儲存服務四個項目,各自有目標值與量測方式。只寫一個籠統的「服務可用率」,出事時你會發現每個環節都說不歸自己管。量測方式同樣要寫:由誰的監控系統認定?樣本間隔多久?雙方數據不一致時以何者為準?這三個問題在事故發生前都很好談,發生後就都不好談了。 賠償行情與申請方式 接著看排除條款與賠償方式。計畫性維護(常見每月2到4小時)、不可抗力、客戶自身操作失誤,通常不計入停機。賠償普遍採月租折抵,行情大致如下: 可用率低於99.9%:折抵當月月租5%到10% 可用率低於99.5%:折抵15%到25% 可用率低於99%:折抵30%以上,並可啟動提前終止權 特別留意賠償是「自動折抵」還是「須於事件後7天內書面申請」,後者常因沒人記得申請而形同放棄。以戰國

💡 快速答案:跑 SDXL 或 Flux 需要什麼等級的 GPU主機? SDXL 約 12GB、Flux FP8 約 16GB 就能跑,H100 MIG 1/4 月租 NT$15,000 即可起步;量產與影片生成用 80GB 單卡約 NT$50,000。戰國策台灣機房 2 小時部署。 先講門檻:SDXL 出圖約 12GB VRAM 就能跑,Flux.1 的 FP8 版約 16GB,影片生成一開口就是 40GB 起跳。換句話說,生圖的 GPU主機門檻其實不高,影片才是真正的怪物。這篇把 SD、Flux 到影片生成的硬體需求一次攤開,附上批次吞吐試算與工作室分級的租用方案,照自己的規模對號入座就行。 生成式應用的 GPU主機需求,跟 LLM 是兩套邏輯 同樣叫 AI 主機,跑擴散模型與跑語言模型的資源結構差很多。LLM 推論吃的是常駐 VRAM 加高併發吞吐,模型一直躺在卡上;擴散模型是一張一張圖的批次運算,VRAM 峰值出現在高解析度放大與 ControlNet 疊加的瞬間,平時反而空。這帶來兩個實務結論:生成式工作負載適合佇列制而不是即時併發制,任務排進佇列、完成後回呼通知,架構簡單又省卡;VRAM 要按「最複雜的那條工作流」抓,不是按平均值,峰值一爆就是整批任務失敗。 把常見的生成式負載攤開,大致落在三段光譜上:即時單張(電商後台改圖、設計師互動迭代)要的是低排隊延遲;批次量產(素材工廠、商品目錄更新)要的是整日吞吐;訓練與研發(風格 LoRA、工作流開發)則是間歇性的高峰。多數工作室三種都有,規劃時分開估量,再決定是租一台大的還是切幾份小的,算出來的答案常常跟直覺相反。 儲存是另一個被低估的環節。LLM 服務幾乎不產生資產,生成式工作流一天可以吐出上萬張圖、數百 GB 影片;模型檔本身也是一座山,checkpoint 每顆 6 到 12GB、LoRA 動輒上百顆,沒有規劃的話三個月就把磁碟塞爆。NVMe 放熱資料、NAS 做歸檔的分層,從第一天就要建立。 ▲ SDXL 到影片生成,VRAM 門檻決定你能接什麼案 SDXL 與 Flux 的 VRAM 門檻,一張表看懂 工作流 VRAM 需求 H100 單張出圖 最低可用方案 SD 1.5(512×512) 4–6GB 0.5 秒內 MIG 1/4 SDXL(1024×1024) 10

💡 快速答案:AI 推論服務該選什麼樣的 GPU Server? 用延遲與併發回推:內部小服務用 H100 MIG 1/4(月租 NT$15,000);百路併發用單卡搭 vLLM。放台灣機房延遲 10ms 內,戰國策 2 小時可部署,先小規格上線再擴容。 推論用的 GPU Server,選型邏輯跟訓練幾乎相反:訓練追求算力堆疊,推論追求的是每一塊錢的 VRAM 能承載多少併發、每一毫秒延遲能換到多好的體驗。一張 H100 切成四份 MIG,月租 NT$15,000 就能撐起一個正式服務;主機放台灣機房,使用者延遲壓在 10ms 以內。延遲、併發與成本這三件事怎麼平衡,這篇一次講清楚。 推論與訓練要的 GPU Server,是兩種不同的機器 很多團隊訓練完模型,直接拿訓練機跑推論,這通常是浪費。兩種工作負載的資源結構差很多:訓練吃算力與卡間互聯,推論吃 VRAM 容量與對外網路;訓練是長時間平穩滿載,推論隨流量波動,尖峰與離峰常差五到十倍;訓練壞卡可以從檢查點重來,推論壞卡就是服務中斷,直接影響營收與 SLA。 面向 訓練 推論 核心資源 算力+互聯(NVLink 900GB/s) VRAM 容量+對外網路 負載型態 連續數週滿載 隨流量起伏,尖峰是均值數倍 延遲要求 無感 首字回應 500ms 內 故障容忍 檢查點可恢復 需備援,中斷即損失 典型配置 四到八卡起跳 MIG 分割到雙卡 實際案例:一個八卡訓練機拿來服務中等流量的聊天應用,GPU 利用率往往不到 15%,改成 MIG 或單卡之後,同樣的服務品質,月費從 NT$350,000 掉到五萬以下。推論的省錢之道,是把規格切到剛剛好,而不是把大機器塞好塞滿。 選規格前先把服務型態分清楚,三類的資源畫像完全不同:即時對話(客服、助理)延遲敏感,規格看尖峰併發;批次處理(摘要、貼標、資料清洗)延遲無感,規格看每日總量,排在離峰跑可以把利用率拉滿;檢索類服務(embedding、rerank)模型小但請求量巨大,吃的是穩定低延遲而不是大 VRAM。一個產品常常三種負載都有,拆開部署、各給各的規格,總成本會比全部塞進同一台大機器低得多。 ▲ 台灣機房對即時 AI 應用的體感差距,海外機房追不上 延遲的三個來源:模型、網路、排隊 使用者感受到的等待,等於模型延遲加網路延遲加排隊延遲,三者要分開

💡 快速答案:訓練 LLM 需要幾張 GPU 才夠? 7B LoRA 約 20GB,一張 H100 80GB 就夠;13B 全參數需四卡;70B 全參數破 1.3TB 要十六卡。戰國策單卡月租 NT$50,000,先用時租 NT$120 驗證再簽月約。 直接給結論:7B 模型的 LoRA 微調,一張 H100 80GB 就能起跑;13B 全參數要四卡;70B 全參數沒有八卡加 NVLink 就別碰。訓練用 GPU 主機的選型,九成答案藏在 VRAM 算式裡,剩下一成在資料管線。這篇給你一條實用的估算公式、三個規模的實戰配置、九種 OOM 解法,以及從實驗到正式訓練的租用策略,照著配就不會買錯。 先算 VRAM,再挑 GPU 主機:一條夠用的公式 訓練時的 VRAM 消耗分四塊:模型權重、梯度、優化器狀態、活化值。用 BF16 訓練搭 Adam 優化器,前三塊合計約是每參數 16 到 18 bytes;活化值跟批次大小與序列長度成正比,粗估再加兩到三成。所以全參數微調的速算式是:參數量 × 18 bytes × 1.25。7B 落在 140 到 160GB,13B 約 260 到 300GB,70B 直接站上 1.3TB 以上。 套公式之前先確認一件更根本的事:你的目標是讓模型學新知識,還是學新格式?學格式(回覆語氣、輸出結構、工具呼叫習慣)用 LoRA 就綽綽有餘;要灌進大量領域知識,得靠全參數搭配持續預訓練才有效,兩者的 VRAM 需求差一個量級。目標搞錯,後面的算式再精準都是白算,這是開案會議上最值得先吵清楚的一題。 LoRA 與 QLoRA 把這條式子大幅壓縮。LoRA 凍結基底模型(每參數只佔 2 bytes),只訓練小型適配器,優化器狀態跟著縮小百倍;QLoRA 再把凍結權重壓成 4-bit,每參數只剩約 0.6 byte。換算成實際數字如下: 模型規模 QLoRA LoRA(BF16) 全參數(BF16+Adam) 建議配置 7B 約 10GB 約 20GB 140–160GB 單卡/單卡/雙卡 13B 約 16GB 約 35GB 260–300GB 單卡/單卡/四卡 70B 約 48GB 160–180GB 1.3TB 以上 單卡/四卡/雙節點十六卡 表中數字以 2K 到 4K 序列長度、小批次為前提。要特別提防序列長度這個變數:活化