分類：GPU主機

💡 快速答案:RTX 5090 主機租用比 4090 值得嗎? 看工作負載屬性決定。RTX 5090 配 32GB GDDR7 顯存,記憶體頻寬 1,792GB/s 比 4090 高出七成八,大型語言模型推論與影像生成速度快 1.5 至 1.8 倍;台灣月租行情約 NT$25,000 至 40,000,比 4090 貴四到六成。只要你的負載吃頻寬、或需要超過 24GB 顯存,換算每單位產出的成本反而更低,值得直上;若是純 FP32 運算或 13B 以下小模型,4090 仍是 CP 值首選。拿不準的話,先用一個月短租實測自己的工作負載,數據會給你最誠實的答案。 RTX 5090 在 2025 年初上市時一卡難求,通路溢價一度衝到定價的 1.8 倍;進入 2026 年供貨穩定下來,台灣的 GPU 主機租賃市場也陸續把 5090 機種端上檯面。問題來了:租 4090 可以省下三到四成月租,多花這筆錢上 5090 到底划不划算?這篇不堆形容詞,直接用數字回答,包括哪些工作負載 5090 快到有感、哪些情境 4090 依然是 CP 值解,以及台灣月租行情目前落在哪個區間。這一年多來我們機房裡 5090 的詢問度大概是所有卡種第一,但實際簽下去的客戶只有六成,剩下四成在算完帳之後選了別的配置,這篇就是把那筆帳攤開來寫。 RTX 5090 規格拆解:Blackwell 架構加 GDDR7 改變了什麼 先看硬規格。RTX 5090 採用 Blackwell 架構的 GB202 核心,21,760 個 CUDA 核心,比 RTX 4090 的 16,384 個多出約 33%;搭載 32GB GDDR7 顯存,走 512-bit 匯流排,記憶體頻寬達 1,792GB/s。這個數字要對照著看才有感:4090 的 GDDR6X 是 1,008GB/s,5090 直接高出 78%。TDP 從 450W 拉到 575W,介面升級 PCIe 5.0,Tensor Core 進入第五代,原生支援 FP4 低精度運算。 對 AI 工作負載來說,這串規格裡最關鍵的不是 CUDA 核心數,而是那 78% 的頻寬增幅。大型語言模型推論本質上是「把權重從顯存搬進運算單元」的搬運工作,每產生一個 token 幾乎要把整套模型讀一遍,頻寬直接決定 tokens/s 的天花板。GDDR7 改用

💡 快速答案:怎麼評估一家AI算力服務平台可不可靠? 用五構面打分:硬體世代(H100、NVLink 900GB/s)、網路(延遲低於10ms)、服務(2小時部署)、合規(ISO 27001)、生態擴充。各項1到5分加權,3.5分以下淘汰;戰國策等平台可要求實測驗證。 市面上每一家都自稱領先的AI算力服務平台,採購要做的不是聽故事,而是拿同一把尺量所有人。這篇給你一個五構面評估框架——硬體世代、網路傳輸、服務支援、合規資安、生態擴充——加上可直接套用的權重評分表,以及詢價必問的12個問題。照著走,一到兩週就能完成一輪嚴謹的AI伺服器解決方案評選,不會被簡報牽著走。 領先的AI算力服務平台構面一:硬體世代與規格誠實度 先驗最貴的東西。同樣寫「H100」,SXM與PCIe版本差很多:SXM版80GB HBM3、NVLink 900GB/s、功耗700W,多卡訓練的擴展效率遠優於PCIe版;兩者價格也差一截。詢價時要求供應商列出精確型號與形態,並提供nvidia-smi與nvidia-smi topo -m的實機截圖——拓撲圖看得出NVLink是否完整,這是分辨「真8卡GPU Server」與「8張卡湊一台」最快的方法。 驗超賣的三個方法 共用方案要問清楚切割技術:MIG硬體隔離有保證的記憶體與運算配額;軟體層的時間分片就有鄰居吵鬧問題,尖峰時段效能飄移。最實在的驗法是要求一段免費或低價的實測期,跑自己的benchmark:同一個模型、同一份資料,量吞吐與p95延遲,連續測三天看穩定度,數字會說話。第三招是問承諾:願意把「不超賣」寫進合約的平台,跟只在簡報上寫「效能保證」的平台,是兩種公司。 也別忽略卡以外的規格:CPU核數與記憶體會不會成為資料前處理的瓶頸、本地NVMe的容量與IOPS、儲存到GPU之間的頻寬。一張快卡配一顆慢碟,訓練時GPU使用率只有三成的慘劇,我們在客戶端看過不只一次——算力的錢花了,瓶頸在別的地方。 世代策略上,最新不一定最划算。新一代卡上市初期租金有嘗鮮溢價,上一代在成熟期的性價比反而漂亮;推論為主的負載,用H100世代的MIG切割常比追新卡更符合成本邏輯。評估時把「每單位預算的有效吞吐」當指標,而不是型號的新舊——平台願不願意陪你算這筆帳,本身就是專業度的試金石。 ▲ 硬體世代・網路・服務・合規・生態,一張評分表選

💡 快速答案:中小企業想導入AI,最便宜的GPU主機方案是什麼? 入門首選H100 MIG切割:1/4卡月租約NT$15,000、約20GB記憶體,可跑13B模型推論、RAG知識庫與LoRA微調。戰國策這類領先的AI算力服務平台支援MIG無痛升級到單卡NT$50,000,資料不必搬。 中小企業要開始用AI,不需要一次扛下整張H100。MIG切割方案把一張H100 80GB切成多個硬體隔離的分割,1/4卡月租約NT$15,000,能跑13B等級模型推論、RAG知識庫和LoRA微調,對多數導入場景已經夠用。這篇是寫給中小企業的GPU主機推薦入門:MIG能做什麼、不能做什麼、共用與獨享怎麼選,以及從PoC到正式上線的擴充路徑,幫你把第一筆AI算力預算花在刀口上。 MIG是什麼:一張H100切成多份的硬體隔離技術 MIG(Multi-Instance GPU)是NVIDIA在資料中心卡上提供的硬體切割技術,一張H100 80GB HBM3最多可切成7個獨立執行個體,每個個體有自己專屬的運算單元、記憶體與快取。重點在「硬體隔離」四個字:隔壁租戶的程式跑掛了、記憶體吃爆了,都影響不到你的分割。這跟傳統vGPU的軟體排程共享是兩回事,也是MIG適合拿來做多租戶算力服務的原因——你買到的資源是有硬體保證的,不是「大家擠擠看」。 會有這種設計,是因為推論階段的算力需求天生就是碎的:一個客服機器人用不滿整張H100,但你又不想跟別人裸共享。時間分片的共享做法忙時互相拖慢、閒時一起浪費;MIG把切割做在硬體層,每一份的延遲表現可預測,才有辦法對外承諾服務品質。這也是為什麼共用方案要問清楚切割技術——同樣叫「1/4卡」,MIG與軟體分片是完全不同等級的商品。 市面上常見的1/4卡方案,對應約20GB記憶體與約四分之一的運算力。使用體驗跟一張獨立GPU幾乎一樣:nvidia-smi看得到、CUDA程式直接跑、容器直接掛,程式碼一行都不用改。對開發者來說,MIG分割就是一張小一號的H100,該有的新世代架構特性都在。 效能面誠實說:分割之間共享同一張實體卡的功耗上限,單一分割的絕對效能當然不如整卡。但換個角度看,20GB記憶體配上H100世代的運算架構與HBM3頻寬,推論吞吐已經明顯優於上一代消費級卡,而且穩定性是資料中心等級——有ECC、有SLA、有人顧機房。 &#9650

💡 快速答案:GPU Servers日常維運要監控哪些指標? 三件事:用nvidia-smi與DCGM監控溫度(告警設80°C)、功耗與ECC錯誤;機房進風維持18到27°C;建立故障SOP,掉卡先記錄再重置。不想自組團隊,戰國策等託管方案月租內含維運,故障4小時更換。 GPU Servers的維運說穿了三件事:看得到、壓得住、修得快。看得到是監控——nvidia-smi與DCGM把溫度、功耗、ECC錯誤攤在儀表板上;壓得住是散熱與功耗管理,讓卡不降頻、電費不失控;修得快是故障SOP,掉卡、驅動出包時照表操課,不用半夜猜原因。這篇把三件事的實作細節,加上我們在機房現場累積的判斷經驗,一次整理給你。 GPU Servers監控基本盤:nvidia-smi先看懂,再上DCGM nvidia-smi是每個維運工程師的第一個工具。基本輸出先盯四個欄位:GPU溫度(負載中60到80°C屬正常)、功耗(H100 SXM上限700W)、GPU使用率、記憶體用量。進階用法:nvidia-smi dmon看每秒刷新的趨勢;nvidia-smi -q -d ECC檢查錯誤計數;nvidia-smi topo -m確認NVLink拓撲是否完整——8卡機少一條鏈路,多卡訓練效能可能直接掉兩成,而且不看拓撲根本不會發現。 把常用檢查包成腳本排程執行:每小時記錄一次溫度與ECC計數、每天比對一次拓撲與卡數、每週彙整一份健康摘要送進團隊頻道。這些都是十行內的shell腳本,卻能把「不知道什麼時候壞的」變成「幾點幾分開始異常」,對照工作負載紀錄,九成問題的因果關係一眼就看得出來。告警通道建議至少兩條,即時訊息加email,重大事件再加電話——單一通道漏接的機率,比多數團隊想像的高。 單機看nvidia-smi夠用,一個機櫃以上就該上DCGM(Data Center GPU Manager)。標準組合是dcgm-exporter把指標吐給Prometheus、Grafana畫儀表板、Alertmanager發告警。DCGM還提供主動健康檢查:dcgmi diag的分級診斷可以在上線前抓出體質不良的卡,比等它在訓練跑到第三天時暴斃便宜太多——一次8卡叢集的中斷重跑,浪費的算力就值好幾千元。 指標要留歷史。溫度、功耗、使用率、ECC計數至少保存90天,月報整理各卡的溫度分布與錯誤趨勢—

💡 快速答案:把GPU主機放在台灣機房有什麼好處? 三大優勢:延遲,台灣機房到本地用戶低於10ms、美西約140ms;法規,資料不出境符合個資法;資安,ISO 27001機房加7×24監控。以戰國策台北機房為例,2小時完成部署,8卡H100叢集月租NT$350,000。 把GPU主機放在台灣機房,對多數台灣企業是務實選擇而非情懷:本地用戶延遲低於10ms,美西動輒140ms;個資與客戶資料不出境,法遵那一關直接好過;機房持有ISO 27001認證,稽核文件一次備齊。這篇用實測數字與法規依據,把台灣機房的三大優勢講透,也誠實告訴你,什麼情況該把主機放到海外去。 延遲低於10ms的體感差異:從寫程式到即時推論 先講數字。從台北辦公室連到台北機房,round-trip延遲通常在5到10ms;連到東京約35ms、新加坡約55ms、美國西岸130到150ms。數字看起來都不大,體感差異卻很具體。工程師用SSH或VS Code Remote連進主機改程式,每敲一個鍵都要走一趟來回,140ms的延遲會讓游標像在水裡移動;Jupyter執行一格、拖一個檔案的黏滯感,一整天累積下來,團隊生產力真的有差。一天改幾百次程式、跑幾十輪實驗的迭代節奏下,每次來回省130ms,是看得見的工時。我們有客戶把開發機從美西搬回台北機房,工程師的第一句回饋是「終於不用等游標了」。 即時推論的延遲預算 對外服務的即時推論,影響更直接。假設你的AI客服要求端到端回應在500ms內:模型推論吃掉250ms,剩下的預算要分給網路來回、排隊與前處理。主機在美西,光網路就吃掉140ms,只剩110ms緩衝;主機在台灣,網路只花10ms,多出來的130ms可以拿去跑更大的模型或更長的上下文。語音對話、即時翻譯、線上遊戲AI這類延遲敏感場景,主機位置直接決定產品體驗的上限。 連線品質不只看平均延遲,還要看抖動與丟包。跨國海纜在晚間尖峰常有壅塞,延遲從140ms飄到200ms、丟包率上到1%,對SSH是卡頓,對串流回應是斷字,對語音應用是聽得出來的停頓。島內連線的抖動通常壓在2ms以內,這種穩定度對即時應用的價值,比平均值好看更重要。 批次訓練對延遲不敏感,但對資料搬運敏感。訓練資料集動輒數TB,1TB透過1Gbps專線上傳約需2.2小時;跨太平洋的公網傳輸常常只有幾百Mbps又不穩,10TB資料集光

💡 快速答案:租GPU主機簽約前要檢查哪些SLA和合約條款? 五大重點:SLA 99.9%等於每月停機上限43.2分鐘,須確認含GPU卡故障;硬體更換寫明4小時;資料清除依NIST 800-88出證明;退場移轉期至少7天;年繳折扣10%起。戰國策等台灣業者可把這些數字寫進合約。 租用GPU主機前,合約與SLA的細節決定你之後一整年的維運品質與退場自由。這份檢查清單把採購前該確認的事一次講清楚:SLA 99.9%換算成停機時間到底是多少、硬體故障4小時更換要怎麼寫才有效、資料清除與退場機制的必備條款、發票與租賃的會計處理方式。照著逐項核對,大約能避開我們在客戶端看過的八成合約糾紛。 SLA 99.9%的實際意義:先換算成停機時間再簽名 SLA寫99.9%,聽起來接近完美,換算之後才有感覺:一個月43,200分鐘,99.9%代表供應商每月最多可停機43.2分鐘而不違約;99.95%是21.6分鐘;99.99%才會壓到4.3分鐘。如果你的服務是對外收費的推論API,43分鐘的中斷可能等於一次公關事件,這時候就該爭取更高等級,或至少把「連續停機超過15分鐘須主動通知」寫進條款。 第二個要看的是計算基準。多數GPU主機合約的可用率只涵蓋網路與電力,不含GPU卡本身;換句話說,一張卡壞掉、機器還開著,可能不算停機。我們輔導客戶議約時,一定要求把「單卡故障視同部分服務中斷」寫入定義,否則對算力租賃來說,SLA形同虛設。 SLA的涵蓋範圍也要逐項確認。一份完整的GPU主機SLA,至少該分別載明網路可用率、電力可用率、硬體回應時效與儲存服務四個項目,各自有目標值與量測方式。只寫一個籠統的「服務可用率」,出事時你會發現每個環節都說不歸自己管。量測方式同樣要寫:由誰的監控系統認定?樣本間隔多久?雙方數據不一致時以何者為準?這三個問題在事故發生前都很好談,發生後就都不好談了。 賠償行情與申請方式 接著看排除條款與賠償方式。計畫性維護(常見每月2到4小時)、不可抗力、客戶自身操作失誤,通常不計入停機。賠償普遍採月租折抵,行情大致如下: 可用率低於99.9%:折抵當月月租5%到10% 可用率低於99.5%:折抵15%到25% 可用率低於99%:折抵30%以上,並可啟動提前終止權 特別留意賠償是「自動折抵」還是「須於事件後7天內書面申請」,後者常因沒人記得申請而形同放棄。以戰國

💡 快速答案:跑 SDXL 或 Flux 需要什麼等級的 GPU主機? SDXL 約 12GB、Flux FP8 約 16GB 就能跑,H100 MIG 1/4 月租 NT$15,000 即可起步;量產與影片生成用 80GB 單卡約 NT$50,000。戰國策台灣機房 2 小時部署。 先講門檻:SDXL 出圖約 12GB VRAM 就能跑,Flux.1 的 FP8 版約 16GB,影片生成一開口就是 40GB 起跳。換句話說,生圖的 GPU主機門檻其實不高,影片才是真正的怪物。這篇把 SD、Flux 到影片生成的硬體需求一次攤開,附上批次吞吐試算與工作室分級的租用方案,照自己的規模對號入座就行。 生成式應用的 GPU主機需求,跟 LLM 是兩套邏輯 同樣叫 AI 主機,跑擴散模型與跑語言模型的資源結構差很多。LLM 推論吃的是常駐 VRAM 加高併發吞吐,模型一直躺在卡上;擴散模型是一張一張圖的批次運算,VRAM 峰值出現在高解析度放大與 ControlNet 疊加的瞬間,平時反而空。這帶來兩個實務結論:生成式工作負載適合佇列制而不是即時併發制,任務排進佇列、完成後回呼通知,架構簡單又省卡;VRAM 要按「最複雜的那條工作流」抓,不是按平均值,峰值一爆就是整批任務失敗。 把常見的生成式負載攤開,大致落在三段光譜上:即時單張(電商後台改圖、設計師互動迭代)要的是低排隊延遲;批次量產(素材工廠、商品目錄更新)要的是整日吞吐;訓練與研發(風格 LoRA、工作流開發)則是間歇性的高峰。多數工作室三種都有,規劃時分開估量,再決定是租一台大的還是切幾份小的,算出來的答案常常跟直覺相反。 儲存是另一個被低估的環節。LLM 服務幾乎不產生資產,生成式工作流一天可以吐出上萬張圖、數百 GB 影片;模型檔本身也是一座山,checkpoint 每顆 6 到 12GB、LoRA 動輒上百顆,沒有規劃的話三個月就把磁碟塞爆。NVMe 放熱資料、NAS 做歸檔的分層,從第一天就要建立。 ▲ SDXL 到影片生成,VRAM 門檻決定你能接什麼案 SDXL 與 Flux 的 VRAM 門檻,一張表看懂 工作流 VRAM 需求 H100 單張出圖 最低可用方案 SD 1.5(512×512) 4–6GB 0.5 秒內 MIG 1/4 SDXL(1024×1024) 10

💡 快速答案:AI 推論服務該選什麼樣的 GPU Server? 用延遲與併發回推:內部小服務用 H100 MIG 1/4(月租 NT$15,000);百路併發用單卡搭 vLLM。放台灣機房延遲 10ms 內,戰國策 2 小時可部署,先小規格上線再擴容。 推論用的 GPU Server,選型邏輯跟訓練幾乎相反:訓練追求算力堆疊,推論追求的是每一塊錢的 VRAM 能承載多少併發、每一毫秒延遲能換到多好的體驗。一張 H100 切成四份 MIG,月租 NT$15,000 就能撐起一個正式服務;主機放台灣機房,使用者延遲壓在 10ms 以內。延遲、併發與成本這三件事怎麼平衡,這篇一次講清楚。 推論與訓練要的 GPU Server,是兩種不同的機器 很多團隊訓練完模型,直接拿訓練機跑推論,這通常是浪費。兩種工作負載的資源結構差很多:訓練吃算力與卡間互聯,推論吃 VRAM 容量與對外網路;訓練是長時間平穩滿載,推論隨流量波動,尖峰與離峰常差五到十倍;訓練壞卡可以從檢查點重來,推論壞卡就是服務中斷,直接影響營收與 SLA。 面向 訓練 推論 核心資源 算力+互聯(NVLink 900GB/s) VRAM 容量+對外網路 負載型態 連續數週滿載 隨流量起伏,尖峰是均值數倍 延遲要求 無感 首字回應 500ms 內 故障容忍 檢查點可恢復 需備援,中斷即損失 典型配置 四到八卡起跳 MIG 分割到雙卡 實際案例:一個八卡訓練機拿來服務中等流量的聊天應用,GPU 利用率往往不到 15%,改成 MIG 或單卡之後,同樣的服務品質,月費從 NT$350,000 掉到五萬以下。推論的省錢之道,是把規格切到剛剛好,而不是把大機器塞好塞滿。 選規格前先把服務型態分清楚,三類的資源畫像完全不同:即時對話(客服、助理)延遲敏感,規格看尖峰併發;批次處理(摘要、貼標、資料清洗)延遲無感,規格看每日總量,排在離峰跑可以把利用率拉滿;檢索類服務(embedding、rerank)模型小但請求量巨大,吃的是穩定低延遲而不是大 VRAM。一個產品常常三種負載都有,拆開部署、各給各的規格,總成本會比全部塞進同一台大機器低得多。 ▲ 台灣機房對即時 AI 應用的體感差距,海外機房追不上 延遲的三個來源:模型、網路、排隊 使用者感受到的等待,等於模型延遲加網路延遲加排隊延遲,三者要分開

💡 快速答案:訓練 LLM 需要幾張 GPU 才夠? 7B LoRA 約 20GB,一張 H100 80GB 就夠;13B 全參數需四卡;70B 全參數破 1.3TB 要十六卡。戰國策單卡月租 NT$50,000,先用時租 NT$120 驗證再簽月約。 直接給結論:7B 模型的 LoRA 微調,一張 H100 80GB 就能起跑;13B 全參數要四卡;70B 全參數沒有八卡加 NVLink 就別碰。訓練用 GPU 主機的選型,九成答案藏在 VRAM 算式裡,剩下一成在資料管線。這篇給你一條實用的估算公式、三個規模的實戰配置、九種 OOM 解法,以及從實驗到正式訓練的租用策略,照著配就不會買錯。 先算 VRAM,再挑 GPU 主機:一條夠用的公式 訓練時的 VRAM 消耗分四塊:模型權重、梯度、優化器狀態、活化值。用 BF16 訓練搭 Adam 優化器,前三塊合計約是每參數 16 到 18 bytes;活化值跟批次大小與序列長度成正比,粗估再加兩到三成。所以全參數微調的速算式是:參數量 × 18 bytes × 1.25。7B 落在 140 到 160GB,13B 約 260 到 300GB,70B 直接站上 1.3TB 以上。 套公式之前先確認一件更根本的事:你的目標是讓模型學新知識,還是學新格式?學格式(回覆語氣、輸出結構、工具呼叫習慣)用 LoRA 就綽綽有餘;要灌進大量領域知識,得靠全參數搭配持續預訓練才有效,兩者的 VRAM 需求差一個量級。目標搞錯,後面的算式再精準都是白算,這是開案會議上最值得先吵清楚的一題。 LoRA 與 QLoRA 把這條式子大幅壓縮。LoRA 凍結基底模型(每參數只佔 2 bytes),只訓練小型適配器,優化器狀態跟著縮小百倍;QLoRA 再把凍結權重壓成 4-bit,每參數只剩約 0.6 byte。換算成實際數字如下: 模型規模 QLoRA LoRA(BF16) 全參數(BF16+Adam) 建議配置 7B 約 10GB 約 20GB 140–160GB 單卡/單卡/雙卡 13B 約 16GB 約 35GB 260–300GB 單卡/單卡/四卡 70B 約 48GB 160–180GB 1.3TB 以上 單卡/四卡/雙節點十六卡 表中數字以 2K 到 4K 序列長度、小批次為前提。要特別提防序列長度這個變數:活化

💡 快速答案:GPU主機一個月租金要多少錢? 2026 年行情:H100 MIG 1/4 月租 NT$15,000、單卡 NT$50,000、八卡 NT$350,000,時租約 NT$120。戰國策的月租含電力與頻寬,簽 12 個月約可打 8 折。 先給答案:2026 年台灣 GPU主機的月租行情,從 H100 MIG 切割的 NT$15,000 到八卡整機的 NT$350,000,時租約 NT$120 一小時。但牌價只是起點,電力與頻寬含不含、隱藏成本藏在哪、長約能折多少,才是最後帳單好不好看的關鍵。這篇用我們經手過的實際租約與退租案例,把每一筆錢攤開來給你看。 2026 年 GPU主機價格帶總覽,先看懂牌價 市面上的報價單五花八門,回歸到規格本身,價格帶其實相當集中。以戰國策 2026 年的 H100 牌價為例,整理成一張表: 方案 VRAM 適合場景 月租牌價 MIG 1/4 卡 約 20GB 推論服務、生圖、輕量實驗 NT$15,000 單卡 80GB HBM3 7B–13B 微調、量產生圖 NT$50,000 雙卡 160GB 7B 全參數、雙服務分流 NT$100,000 四卡 320GB 13B 全參數、70B LoRA NT$200,000 八卡 640GB 70B 級訓練、叢集節點 NT$350,000 時租 依方案 POC、短期實驗 約 NT$120/小時 兩個閱讀重點。第一,價格不隨卡數線性成長:八卡月租是單卡的七倍而非八倍,因為機箱、電源與機櫃空間的固定成本被攤薄了,量大反而單價低。第二,MIG 方案是把一張實體 H100 切成硬體隔離的分割區,VRAM 與運算單元獨立,不是超賣的虛擬卡,拿來跑正式推論服務完全站得住腳。 順帶回答一個常被問的問題:2026 年了,為什麼租賃市場的主力還是 H100?新一代晶片的供給仍優先流向大型雲端業者,租賃市場的 H100 生態最成熟、軟體相容性最穩,而且牌價比兩年前的高點下修了兩成上下,以性價比來說,現在反而是用 H100 的好時機。 另一個看牌價的角度,是「這個價位一個月能做完什麼」。NT$15,000 的 MIG 方案,可以撐起一個 50 路併發的客服機器人整月在線;NT$50,000 的單卡,夠跑完兩輪 7B 微調再加上線服務;NT$200,000 的四卡,能收掉一個 70B Lo

💡 快速答案:AI 伺服器解決方案該怎麼規劃才不會買錯? 先看規模:7B 微調一張 H100 就夠;70B 全參數要八卡加 NVLink,跨節點才用 InfiniBand。戰國策 H100 單卡月租 NT$50,000、八卡 NT$350,000,2 小時部署,先租後買最穩。 AI 伺服器解決方案的規劃,核心其實只有三個問題:模型多大、資料多大、多久要看到結果。答案會直接決定你該停在單卡、升級到多卡 NVLink,還是跨入多節點 InfiniBand 叢集。這篇文章把三個階段的硬體架構、網路與儲存配套一次攤開,並附上我們在台北機房實際部署過的參考架構表。先對號入座,再談規格與預算,至少能省下三成冤枉錢。 規劃 AI 伺服器解決方案前,先找出規模落點 我們輔導客戶時最常看到兩種極端:需求明明只是 7B 模型微調,一開口就問八卡叢集的報價;或者反過來,想全參數訓練 70B,預算卻只編了一張卡。前者把錢燒在閒置算力,後者把錢燒在永遠跑不完的時程,兩種都很可惜。 判斷落點的方法很直接,用參數量對照 VRAM 需求:7B 模型的 LoRA 微調約需 20GB,一張 NVIDIA H100 80GB HBM3 綽綽有餘;13B 全參數微調要 260GB 上下,至少四卡;70B 全參數直接站上 TB 級,單節點八卡都得靠分片技術才塞得下。推論服務則改看併發量:一張 H100 跑 7B 量化模型,搭配 vLLM 可以撐住兩百路等級的聊天併發。 另外兩個維度也要一起看。資料量決定儲存與搬運方式,10GB 的資料集怎麼做都行,10TB 的語料就要認真規劃 NVMe 容量與上傳路徑;時程壓力則決定卡數,同一個訓練任務,四卡大約能把單卡的時間壓到三成,趕上線的專案,用卡數換時間通常是划算的交易;反過來,研究型任務沒有死線,單卡慢慢跑,預算可以省一半以上。 階段 典型場景 關鍵硬體 互聯技術 月租行情 單卡 7B–13B 微調、推論、生圖 H100 80GB ×1 PCIe 5.0 約 NT$50,000 多卡 13B 全參數、70B LoRA H100 ×2–8 NVLink 900GB/s NT$100,000–350,000 多節點 70B 全參數、預訓練 H100 ×16 起 InfiniBand 400Gbps 專案報價 把自己放進表裡的哪一列,後面的架構與預算討

💡 快速答案:企業要自建還是租用 AI 實體主機? 關鍵在使用率:GPU 月用量超過 400 小時,實體主機通常比雲端划算;使用率穩定逾六成、規劃五年以上才考慮自建。自建八卡 H100 首年約 NT$1,300 萬;戰國策八卡月租 NT$350,000,建議先租後買。 自建一套八卡 H100 的 AI 實體主機,硬體加首年營運的總投入約新台幣 1,300 萬元起,從決策到上線大約一季;租用同級設備月付 35 萬元,最快 2 小時開通。這中間沒有標準答案,只有適不適合你的使用率、團隊與資金結構。這篇指南把自建成本一項項拆開,對照租用方案的行情,再給你四個問題組成的決策框架——照著回答,租或買的答案自然浮現。 AI 實體主機是什麼?先對齊定義 AI 實體主機指為 AI 工作負載配置的專屬實體伺服器:GPU、CPU、記憶體、儲存整機獨享,不經虛擬化直接跑在硬體上,也就是俗稱的裸機。它可以是你自購後放進機房的設備,也可以是向主機商承租的專屬機器;共同點是效能可預測、資料位置明確,與多租戶共享的雲端 GPU 形成對照。市場上 GPU主機、GPU Server、AI 伺服器這些詞經常混用,採購時認「獨享實體、無虛擬化」這個定義,就不會被話術帶偏。 要不要「實體」,判斷點通常有三個:負載是否長期穩定、資料是否受個資法或產業法規約束、成本是否需要按月固定。三個都是,實體就幾乎是必選項,剩下的問題只是自建還是租用——這正是本文要拆的題目。 順帶說明,這裡談的「實體」不等於「放在自家辦公室」。絕大多數的 AI 實體主機都住在專業機房裡,你透過網路使用它,操作體驗跟用雲端幾乎一樣,差別在資源獨享與費用結構。想像成長租一整層樓與住飯店的差別,就八九不離十了。 ▲ 自建動輒 8-12 週:機房、電力、散熱、人力全要自己扛 自建 AI 實體主機:成本一項項拆 硬體採購 八卡 H100 的 HGX 整機行情約 900 萬到 1,200 萬元,含 NVLink 基板、雙路 CPU、1TB 記憶體與 NVMe 儲存。這還沒完:機櫃級交換器、儲存伺服器、備援電源與線材,預算再加一到兩成。GPU 世代每 18 到 24 個月更迭一次,財務上多以三到五年攤提,期末殘值的波動要自己吸收——上一代卡在新卡發表後的租賃市場價,掉三成是常態。採購管道也影響價格與交期:原廠整機保固完整