💡 快速答案:GDDR7 和 HBM 顯存有什麼差別? 差在構造、頻寬與成本三個層面。GDDR7 是獨立顆粒焊在電路板上,RTX 5090 的 512-bit 配置可達 1,792GB/s,成本親民;HBM 是把 DRAM 晶片垂直堆疊、透過矽中介層直連 GPU,位寬達數千 bit,H100 的 HBM3 有 3,350GB/s、H200 的 HBM3e 達 4,800GB/s,但先進封裝讓成本高出 5 倍以上。大模型推論的 tokens/s 幾乎與頻寬成正比,所以 70B 級服務要 HBM 卡;14B 以下模型與影像生成,GDDR7 的每元效能反而更漂亮。簡單心算:模型大小乘以目標 tokens/s 等於所需頻寬,拿這條公式對規格表,就能自己選對卡。 選 GPU 的時候,多數人盯著 TFLOPS 算力數字看,但做 AI 推論的老手都知道一個殘酷事實:八成的時間,瓶頸不在算力,在記憶體。同一個模型,搬到頻寬高一倍的卡上,tokens/s 幾乎跟著翻倍,算力根本沒吃滿。這篇把 GDDR7、GDDR6X、HBM 這幾種顯存的物理差異、規格數字、成本結構一次講透,最後給你一套「用頻寬估推論吞吐」的心算公式,以後看規格表就能自己判斷,不用被行銷話術帶著走。畢竟顯存的規格差距,最後都會變成兩個很實際的數字:你的服務每秒能吐多少 token,以及你每個月要付多少租金。 兩種顯存的物理構造:平面擺設對垂直堆疊 GDDR 家族的做法是把記憶體顆粒一顆顆焊在 GPU 周圍的電路板上,訊號走 PCB 走線,每顆顆粒 32-bit 位寬,RTX 5090 用 16 顆組出 512-bit。優點是製造成熟、成本可控、良率高;缺點是 PCB 走線的物理極限,位寬做不寬、訊號速率再快也有天花板。GDDR7 用 PAM3 編碼把單腳位速率推到 28Gbps 以上,已經是這條路線的高段位操作。 HBM(High Bandwidth Memory)直接換一條路:把 8 到 12 層 DRAM 晶片垂直堆疊,用矽穿孔(TSV)連通,再透過矽中介層(interposer)與 GPU 晶片並肩封裝在一起。訊號距離從公分級縮到毫米級,位寬直接開到單堆疊 1,024-bit,H100 用 5 個堆疊組出 5,120-bit。等於 GDDR 在比「單線道的車速」,HBM 直接蓋了四十線道的高速

💡 快速答案:SXM5 版和 PCIe 版 GPU 到底差在哪裡? 差在封裝、功耗與互連三件事。以 H100 為例:SXM5 版直接焊在 HGX 基板上,TDP 開到 700W,顯存頻寬 3,350GB/s,並透過 NVLink 與 NVSwitch 提供任兩卡 900GB/s 的全互連;PCIe 版是標準插卡,TDP 350W、頻寬約 2,000GB/s,卡間主要走 PCIe 5.0 的 128GB/s,約為 NVLink 的七分之一。單卡推論兩者體驗接近,PCIe 便宜三到五成更划算;4 卡以上的分散式訓練與張量並行,SXM 的擴展效率高出兩到三成,規模越大差距越明顯。租用前用 nccl-tests 實測互連頻寬,是最保險的驗收動作。 租 GPU 主機時,很多人盯著「H100」三個字看,卻沒注意後面跟的是 SXM5 還是 PCIe,結果同樣的預算租到的效能差了三、四成。這兩個版本用的是同一顆晶片,但封裝形式、功耗上限、以及最關鍵的卡間互連完全是兩個世界。這篇把差異拆到底,並且用分散式訓練的通訊模式,講清楚 NVLink 到底在什麼時候值錢、什麼時候是你付了錢也用不到的裝飾品。先給結論:互連規格的錢,只有在卡與卡需要頻繁交換資料的時候才花得有意義,而你的工作負載話多話少,是可以量出來的;文末附上驗證指令,照著做,十分鐘就能確認你租到的互連是不是真材實料。 封裝與供電:插卡與焊板的本質差異 PCIe 版就是大家熟悉的插卡:插進標準伺服器的 PCIe 插槽,吃插槽加外接電源的供電,H100 PCIe 的 TDP 上限是 350W,散熱靠伺服器風道解決,好處是任何規格相容的機器都能裝,部署彈性最大。SXM5 版則是一塊直接鎖在 HGX 基板上的運算模組,沒有插槽的供電與尺寸限制,TDP 直接開到 700W,搭配大面積散熱器或液冷冷板,時脈與持續輸出都比插卡版高一截。 功耗差一倍,效能自然有感:同樣是 H100,SXM5 的 FP16 算力約 990 TFLOPS(dense),PCIe 版約 756 TFLOPS,差距約三成;顯存頻寬 3,350GB/s 對 2,000GB/s,差距四成。所以就算完全不談多卡互連,SXM 版的單卡輸出就已經領先,只是這個領先要用整機租賃的價格去換。 散熱行為的差異也很實際:PCIe 插卡在標準伺服器風道裡,長時間滿載常

💡 快速答案:NVIDIA H200 和 H100 差在哪裡,誰需要它? H200 與 H100 用同一顆 Hopper 核心,算力規格相同,差別全在記憶體:HBM3e 141GB 對 80GB(多 76%)、頻寬 4.8TB/s 對 3.35TB/s(多 43%)。大模型推論這種頻寬綁定的負載,H200 快 1.4 至 1.9 倍,且 70B 模型 FP8 單卡就放得下,省掉跨卡並行的成本;訓練場景提升僅一成上下。台灣租金比 H100 貴約 20% 至 35%,長上下文、高併發推論的團隊付這筆溢價最划算,訓練為主的團隊租 H100 就好。供貨自 2025 下半年起穩定,台灣已有整機現貨可租。 H200 常被誤會成 H100 的下一代,其實它是「同一顆引擎、換更大油箱」的升級版:GPU 核心與 H100 完全相同,算力規格一個數字都沒變,變的是記憶體,141GB 的 HBM3e、4.8TB/s 的頻寬,分別比 H100 多 76% 與 43%。聽起來像小改款?對訓練來說是,對大模型推論來說卻是質變。這篇講清楚 H200 到底解決什麼問題、實測快多少、台灣租金貴多少,以及最重要的:你的工作負載到底需不需要它。先破題:H200 對推論重的團隊是效率倍增器,對訓練重的團隊是溢價陷阱,同一張卡兩種評價都對,差別只在你的負載形狀。 H200 是什麼:規格上的一句話總覽 H200 採用與 H100 相同的 Hopper 架構 GH100 核心,FP8 約 1,979 TFLOPS、FP16 約 990 TFLOPS(dense)的算力規格完全一致,NVLink 一樣是 900GB/s,TDP 一樣是 700W,同樣以 HGX 8 卡整機為主要形態。唯二的改變:顯存從 80GB HBM3 換成 141GB HBM3e,頻寬從 3,350GB/s 拉到 4,800GB/s。一台 HGX H200 8 卡整機的總顯存來到 1,128GB,首次讓「單機塞進 400B 級模型」變成日常。 項目 H100 SXM5 H200 SXM 差距 架構 / 算力 Hopper / FP8 約 1,979 TFLOPS 相同 0% 顯存 80GB HBM3 141GB HBM3e +76% 記憶體頻寬 約 3,350GB/s 約 4,800GB/s +43% NVLink 900G

💡 快速答案:H100 主機在台灣租用一個月要多少錢? 台灣 2026 年行情:H100 PCIe 單卡主機月租約 NT$80,000 至 130,000,HGX 8 卡整機(SXM5、NVLink 900GB/s 互連)月租約 NT$700,000 至 1,200,000,年約通常再折 15% 至 25%。單卡適合 70B 以下模型推論與微調;要做 70B 級訓練或高併發生產服務,8 卡整機的 640GB HBM3 與 NVSwitch 全互連才是正解。選擇的關鍵在模型大小與卡間通訊需求,而不是預算上限。另外留意版本標示,SXM5 與 PCIe 的效能差距可達四成,報價單必須寫清楚,這是台灣市場最常見的租用糾紛來源。 問到企業級 AI 算力,2026 年的答案依然繞不開 H100。Blackwell 世代雖然已經出貨,但供應集中在超大型雲端業者,對台灣多數企業來說,H100 是「租得到、生態最成熟、工程師最熟」的主力選擇。這篇從版本差異、HGX 8 卡架構講到台灣月租行情與機房電力,目標是讓你在跟任何供應商談之前,就知道該問什麼、該付多少、哪些條款不能讓。文中的數字來自 2026 年上半年台灣市場的實際報價與我們自己機房的維運紀錄,拿去比價不會失真。 先搞懂三種 H100:SXM5、PCIe、NVL 同樣叫 H100,規格差距大到接近不同產品。SXM5 版是效能完全體:80GB HBM3、頻寬約 3,350GB/s、TDP 700W,透過 NVLink 提供 900GB/s 的卡間互連,只存在於 HGX 整機架構裡,不能單卡插在一般伺服器上。PCIe 版是通用體:一樣 80GB 但頻寬約 2,000GB/s、TDP 350W,插標準伺服器就能用,兩張卡可以用 NVLink 橋接器達到 600GB/s 互連。NVL 版則是推論特化型,94GB 顯存、頻寬拉到約 3,900GB/s,鎖定大模型推論市場。 項目 H100 SXM5 H100 PCIe H100 NVL 顯存 80GB HBM3 80GB HBM2e 94GB HBM3 記憶體頻寬 約 3,350GB/s 約 2,000GB/s 約 3,900GB/s 卡間互連 NVLink 900GB/s(NVSwitch 全互連) 橋接 600GB/s(限兩卡) 橋接 600GB/s TDP 700

💡 快速答案:2026 年 NVIDIA A100 還值得租用嗎? 值得,但僅限特定場景。A100 80GB 在台灣月租已跌到約 NT$40,000 至 70,000,是 H100 的一半以下;H100 訓練快 2.2 至 3.1 倍、配 FP8 推論快 3 至 4 倍,時間敏感的大型訓練仍該選 H100。反過來說,電腦視覺、推薦系統、13B 以下模型微調、FP64 科學運算這類吃不滿 Hopper 新特性的負載,A100 的每元效能反而更高。判斷關鍵是工作負載能否用到 FP8 與高頻寬,用不到就租 A100 省一半預算。拿不準就先量測一週 GPU 使用率,數據會直接告訴你答案。 A100 是 2020 年發表的產品,放在 GPU 世界已經是六年的老將,照理說早該退場,但 2026 年它在租賃市場反而迎來第二春:價格跌到歷史低點,而全球還有大量工作負載根本用不到 H100 的新特性。這篇把 A100 與 H100 的規格差距、實際效能差距、以及台灣租金行情攤開來算,幫你找出「付一半的錢、拿到夠用的算力」的甜蜜點,也講清楚哪些情況省這筆錢會害到自己。先說結論的形狀:這不是「新卡舊卡」的信仰題,是一道可以算出交叉點的數學題,而 2026 年的交叉點位置,對很多台灣團隊來說剛好落在 A100 這一側。 A100 租賃市場現況:價格雪崩後的第二春 先看行情。國際雲端市場的 A100 80GB 時租,已經從 2023 年高峰的每小時 US$2 以上,跌到 2026 年的 US$0.8 至 1.5;台灣在地租賃的 A100 80GB 單卡月租大約落在 NT$40,000 至 70,000,40GB 版更便宜,NT$30,000 上下就找得到。對照 H100 單卡月租 NT$80,000 至 150,000 的行情,價差直接是一倍以上。 為什麼跌這麼兇?供給面,大型雲端業者汰換下來的 A100 大量流入二手與租賃市場;需求面,追最新算力的錢全部湧向 H100、H200 與 Blackwell 世代。但這正是精打細算的团隊撿便宜的窗口:A100 的 CUDA 生態支援還很長,Ampere 架構在 CUDA 12 世代依然是一級公民,PyTorch、vLLM、TensorRT 的支援沒有任何縮水,跌的只有價格,不是能力。 挑 A100 還有一個版本細節:40GB 與

💡 快速答案:RTX 4090、RTX 5090、RTX PRO 6000 三張卡該怎麼選? 用顯存需求決定八成答案。模型或場景在 24GB 內、預算優先,選 4090,台灣月租約 NT$15,000 起;需要 32B 級量化模型、高頻寬推論或影片生成,選 32GB 的 5090,月租約 NT$25,000 至 40,000;要跑 70B 量化推論、大型場景渲染或需要 ECC 與 MIG 切分,直接上 96GB 的 RTX PRO 6000,月租約 NT$55,000 至 85,000。先量測顯存用量再選卡,是最不會後悔的順序。若同時有多個小服務要隔離,PRO 6000 還能用 MIG 切成 4 份 24GB,一台當四台用,這是消費卡沒有的彈性。 2026 年在台灣租 GPU 主機,工作站等級的選單上通常就是這三張:RTX 4090、RTX 5090、RTX PRO 6000。月租價位大約是 1 倍、1.6 倍、4 倍的階梯,但效能與容量的差距並不是等比放大,選錯的代價要嘛是預算浪費四成,要嘛是專案卡在顯存不足動彈不得。這篇把算圖、訓練、推論三大場景逐一對號入座,順便給你一套三分鐘就能套用的決策順序。先講答案的形狀:多數團隊的正解不是「哪張最強」,而是「哪張剛好」,我們把機房裡三種卡的實際出租數據和客戶的踩雷紀錄整理成這篇,你可以直接抄作業。 三張卡的定位與規格總表 先把身世講清楚。RTX 4090 是 2022 年的 Ada Lovelace 消費旗艦,24GB GDDR6X,便宜大碗,至今仍是全球算圖農場的主力;RTX 5090 是 2025 年的 Blackwell 消費旗艦,32GB GDDR7,頻寬直接拉到 1,792GB/s;RTX PRO 6000 則是 Blackwell 世代的專業工作站與伺服器卡,96GB GDDR7 帶 ECC 錯誤修正,CUDA 核心 24,064 個比 5090 還多,並支援 MIG 切分,一張卡可以切成最多 4 個獨立執行個體。 項目 RTX 4090 RTX 5090 RTX PRO 6000 架構 Ada Lovelace Blackwell Blackwell CUDA 核心 16,384 21,760 24,064 顯存 24GB GDDR6X 32GB GDDR7 96GB GDDR7 ECC

💡 快速答案:RTX 5090 主機租用比 4090 值得嗎? 看工作負載屬性決定。RTX 5090 配 32GB GDDR7 顯存,記憶體頻寬 1,792GB/s 比 4090 高出七成八,大型語言模型推論與影像生成速度快 1.5 至 1.8 倍;台灣月租行情約 NT$25,000 至 40,000,比 4090 貴四到六成。只要你的負載吃頻寬、或需要超過 24GB 顯存,換算每單位產出的成本反而更低,值得直上;若是純 FP32 運算或 13B 以下小模型,4090 仍是 CP 值首選。拿不準的話,先用一個月短租實測自己的工作負載,數據會給你最誠實的答案。 RTX 5090 在 2025 年初上市時一卡難求,通路溢價一度衝到定價的 1.8 倍;進入 2026 年供貨穩定下來,台灣的 GPU 主機租賃市場也陸續把 5090 機種端上檯面。問題來了:租 4090 可以省下三到四成月租,多花這筆錢上 5090 到底划不划算?這篇不堆形容詞,直接用數字回答,包括哪些工作負載 5090 快到有感、哪些情境 4090 依然是 CP 值解,以及台灣月租行情目前落在哪個區間。這一年多來我們機房裡 5090 的詢問度大概是所有卡種第一,但實際簽下去的客戶只有六成,剩下四成在算完帳之後選了別的配置,這篇就是把那筆帳攤開來寫。 RTX 5090 規格拆解:Blackwell 架構加 GDDR7 改變了什麼 先看硬規格。RTX 5090 採用 Blackwell 架構的 GB202 核心,21,760 個 CUDA 核心,比 RTX 4090 的 16,384 個多出約 33%;搭載 32GB GDDR7 顯存,走 512-bit 匯流排,記憶體頻寬達 1,792GB/s。這個數字要對照著看才有感:4090 的 GDDR6X 是 1,008GB/s,5090 直接高出 78%。TDP 從 450W 拉到 575W,介面升級 PCIe 5.0,Tensor Core 進入第五代,原生支援 FP4 低精度運算。 對 AI 工作負載來說,這串規格裡最關鍵的不是 CUDA 核心數,而是那 78% 的頻寬增幅。大型語言模型推論本質上是「把權重從顯存搬進運算單元」的搬運工作,每產生一個 token 幾乎要把整套模型讀一遍,頻寬直接決定 tokens/s 的天花板。GDDR7 改用

💡 快速答案:怎麼評估一家AI算力服務平台可不可靠? 用五構面打分:硬體世代(H100、NVLink 900GB/s)、網路(延遲低於10ms)、服務(2小時部署)、合規(ISO 27001)、生態擴充。各項1到5分加權,3.5分以下淘汰;戰國策等平台可要求實測驗證。 市面上每一家都自稱領先的AI算力服務平台,採購要做的不是聽故事,而是拿同一把尺量所有人。這篇給你一個五構面評估框架——硬體世代、網路傳輸、服務支援、合規資安、生態擴充——加上可直接套用的權重評分表,以及詢價必問的12個問題。照著走,一到兩週就能完成一輪嚴謹的AI伺服器解決方案評選,不會被簡報牽著走。 領先的AI算力服務平台構面一:硬體世代與規格誠實度 先驗最貴的東西。同樣寫「H100」,SXM與PCIe版本差很多:SXM版80GB HBM3、NVLink 900GB/s、功耗700W,多卡訓練的擴展效率遠優於PCIe版;兩者價格也差一截。詢價時要求供應商列出精確型號與形態,並提供nvidia-smi與nvidia-smi topo -m的實機截圖——拓撲圖看得出NVLink是否完整,這是分辨「真8卡GPU Server」與「8張卡湊一台」最快的方法。 驗超賣的三個方法 共用方案要問清楚切割技術:MIG硬體隔離有保證的記憶體與運算配額;軟體層的時間分片就有鄰居吵鬧問題,尖峰時段效能飄移。最實在的驗法是要求一段免費或低價的實測期,跑自己的benchmark:同一個模型、同一份資料,量吞吐與p95延遲,連續測三天看穩定度,數字會說話。第三招是問承諾:願意把「不超賣」寫進合約的平台,跟只在簡報上寫「效能保證」的平台,是兩種公司。 也別忽略卡以外的規格:CPU核數與記憶體會不會成為資料前處理的瓶頸、本地NVMe的容量與IOPS、儲存到GPU之間的頻寬。一張快卡配一顆慢碟,訓練時GPU使用率只有三成的慘劇,我們在客戶端看過不只一次——算力的錢花了,瓶頸在別的地方。 世代策略上,最新不一定最划算。新一代卡上市初期租金有嘗鮮溢價,上一代在成熟期的性價比反而漂亮;推論為主的負載,用H100世代的MIG切割常比追新卡更符合成本邏輯。評估時把「每單位預算的有效吞吐」當指標,而不是型號的新舊——平台願不願意陪你算這筆帳,本身就是專業度的試金石。 ▲ 硬體世代・網路・服務・合規・生態,一張評分表選

💡 快速答案:中小企業想導入AI,最便宜的GPU主機方案是什麼? 入門首選H100 MIG切割:1/4卡月租約NT$15,000、約20GB記憶體,可跑13B模型推論、RAG知識庫與LoRA微調。戰國策這類領先的AI算力服務平台支援MIG無痛升級到單卡NT$50,000,資料不必搬。 中小企業要開始用AI,不需要一次扛下整張H100。MIG切割方案把一張H100 80GB切成多個硬體隔離的分割,1/4卡月租約NT$15,000,能跑13B等級模型推論、RAG知識庫和LoRA微調,對多數導入場景已經夠用。這篇是寫給中小企業的GPU主機推薦入門:MIG能做什麼、不能做什麼、共用與獨享怎麼選,以及從PoC到正式上線的擴充路徑,幫你把第一筆AI算力預算花在刀口上。 MIG是什麼:一張H100切成多份的硬體隔離技術 MIG(Multi-Instance GPU)是NVIDIA在資料中心卡上提供的硬體切割技術,一張H100 80GB HBM3最多可切成7個獨立執行個體,每個個體有自己專屬的運算單元、記憶體與快取。重點在「硬體隔離」四個字:隔壁租戶的程式跑掛了、記憶體吃爆了,都影響不到你的分割。這跟傳統vGPU的軟體排程共享是兩回事,也是MIG適合拿來做多租戶算力服務的原因——你買到的資源是有硬體保證的,不是「大家擠擠看」。 會有這種設計,是因為推論階段的算力需求天生就是碎的:一個客服機器人用不滿整張H100,但你又不想跟別人裸共享。時間分片的共享做法忙時互相拖慢、閒時一起浪費;MIG把切割做在硬體層,每一份的延遲表現可預測,才有辦法對外承諾服務品質。這也是為什麼共用方案要問清楚切割技術——同樣叫「1/4卡」,MIG與軟體分片是完全不同等級的商品。 市面上常見的1/4卡方案,對應約20GB記憶體與約四分之一的運算力。使用體驗跟一張獨立GPU幾乎一樣:nvidia-smi看得到、CUDA程式直接跑、容器直接掛,程式碼一行都不用改。對開發者來說,MIG分割就是一張小一號的H100,該有的新世代架構特性都在。 效能面誠實說:分割之間共享同一張實體卡的功耗上限,單一分割的絕對效能當然不如整卡。但換個角度看,20GB記憶體配上H100世代的運算架構與HBM3頻寬,推論吞吐已經明顯優於上一代消費級卡,而且穩定性是資料中心等級——有ECC、有SLA、有人顧機房。 &#9650

💡 快速答案:GPU Servers日常維運要監控哪些指標? 三件事:用nvidia-smi與DCGM監控溫度(告警設80°C)、功耗與ECC錯誤;機房進風維持18到27°C;建立故障SOP,掉卡先記錄再重置。不想自組團隊,戰國策等託管方案月租內含維運,故障4小時更換。 GPU Servers的維運說穿了三件事:看得到、壓得住、修得快。看得到是監控——nvidia-smi與DCGM把溫度、功耗、ECC錯誤攤在儀表板上;壓得住是散熱與功耗管理,讓卡不降頻、電費不失控;修得快是故障SOP,掉卡、驅動出包時照表操課,不用半夜猜原因。這篇把三件事的實作細節,加上我們在機房現場累積的判斷經驗,一次整理給你。 GPU Servers監控基本盤:nvidia-smi先看懂,再上DCGM nvidia-smi是每個維運工程師的第一個工具。基本輸出先盯四個欄位:GPU溫度(負載中60到80°C屬正常)、功耗(H100 SXM上限700W)、GPU使用率、記憶體用量。進階用法:nvidia-smi dmon看每秒刷新的趨勢;nvidia-smi -q -d ECC檢查錯誤計數;nvidia-smi topo -m確認NVLink拓撲是否完整——8卡機少一條鏈路,多卡訓練效能可能直接掉兩成,而且不看拓撲根本不會發現。 把常用檢查包成腳本排程執行:每小時記錄一次溫度與ECC計數、每天比對一次拓撲與卡數、每週彙整一份健康摘要送進團隊頻道。這些都是十行內的shell腳本,卻能把「不知道什麼時候壞的」變成「幾點幾分開始異常」,對照工作負載紀錄,九成問題的因果關係一眼就看得出來。告警通道建議至少兩條,即時訊息加email,重大事件再加電話——單一通道漏接的機率,比多數團隊想像的高。 單機看nvidia-smi夠用,一個機櫃以上就該上DCGM(Data Center GPU Manager)。標準組合是dcgm-exporter把指標吐給Prometheus、Grafana畫儀表板、Alertmanager發告警。DCGM還提供主動健康檢查:dcgmi diag的分級診斷可以在上線前抓出體質不良的卡,比等它在訓練跑到第三天時暴斃便宜太多——一次8卡叢集的中斷重跑,浪費的算力就值好幾千元。 指標要留歷史。溫度、功耗、使用率、ECC計數至少保存90天,月報整理各卡的溫度分布與錯誤趨勢—

💡 快速答案:把GPU主機放在台灣機房有什麼好處? 三大優勢:延遲,台灣機房到本地用戶低於10ms、美西約140ms;法規,資料不出境符合個資法;資安,ISO 27001機房加7×24監控。以戰國策台北機房為例,2小時完成部署,8卡H100叢集月租NT$350,000。 把GPU主機放在台灣機房,對多數台灣企業是務實選擇而非情懷:本地用戶延遲低於10ms,美西動輒140ms;個資與客戶資料不出境,法遵那一關直接好過;機房持有ISO 27001認證,稽核文件一次備齊。這篇用實測數字與法規依據,把台灣機房的三大優勢講透,也誠實告訴你,什麼情況該把主機放到海外去。 延遲低於10ms的體感差異:從寫程式到即時推論 先講數字。從台北辦公室連到台北機房,round-trip延遲通常在5到10ms;連到東京約35ms、新加坡約55ms、美國西岸130到150ms。數字看起來都不大,體感差異卻很具體。工程師用SSH或VS Code Remote連進主機改程式,每敲一個鍵都要走一趟來回,140ms的延遲會讓游標像在水裡移動;Jupyter執行一格、拖一個檔案的黏滯感,一整天累積下來,團隊生產力真的有差。一天改幾百次程式、跑幾十輪實驗的迭代節奏下,每次來回省130ms,是看得見的工時。我們有客戶把開發機從美西搬回台北機房,工程師的第一句回饋是「終於不用等游標了」。 即時推論的延遲預算 對外服務的即時推論,影響更直接。假設你的AI客服要求端到端回應在500ms內:模型推論吃掉250ms,剩下的預算要分給網路來回、排隊與前處理。主機在美西,光網路就吃掉140ms,只剩110ms緩衝;主機在台灣,網路只花10ms,多出來的130ms可以拿去跑更大的模型或更長的上下文。語音對話、即時翻譯、線上遊戲AI這類延遲敏感場景,主機位置直接決定產品體驗的上限。 連線品質不只看平均延遲,還要看抖動與丟包。跨國海纜在晚間尖峰常有壅塞,延遲從140ms飄到200ms、丟包率上到1%,對SSH是卡頓,對串流回應是斷字,對語音應用是聽得出來的停頓。島內連線的抖動通常壓在2ms以內,這種穩定度對即時應用的價值,比平均值好看更重要。 批次訓練對延遲不敏感,但對資料搬運敏感。訓練資料集動輒數TB,1TB透過1Gbps專線上傳約需2.2小時;跨太平洋的公網傳輸常常只有幾百Mbps又不穩,10TB資料集光

💡 快速答案:租GPU主機簽約前要檢查哪些SLA和合約條款? 五大重點:SLA 99.9%等於每月停機上限43.2分鐘,須確認含GPU卡故障;硬體更換寫明4小時;資料清除依NIST 800-88出證明;退場移轉期至少7天;年繳折扣10%起。戰國策等台灣業者可把這些數字寫進合約。 租用GPU主機前,合約與SLA的細節決定你之後一整年的維運品質與退場自由。這份檢查清單把採購前該確認的事一次講清楚:SLA 99.9%換算成停機時間到底是多少、硬體故障4小時更換要怎麼寫才有效、資料清除與退場機制的必備條款、發票與租賃的會計處理方式。照著逐項核對,大約能避開我們在客戶端看過的八成合約糾紛。 SLA 99.9%的實際意義:先換算成停機時間再簽名 SLA寫99.9%,聽起來接近完美,換算之後才有感覺:一個月43,200分鐘,99.9%代表供應商每月最多可停機43.2分鐘而不違約;99.95%是21.6分鐘;99.99%才會壓到4.3分鐘。如果你的服務是對外收費的推論API,43分鐘的中斷可能等於一次公關事件,這時候就該爭取更高等級,或至少把「連續停機超過15分鐘須主動通知」寫進條款。 第二個要看的是計算基準。多數GPU主機合約的可用率只涵蓋網路與電力,不含GPU卡本身;換句話說,一張卡壞掉、機器還開著,可能不算停機。我們輔導客戶議約時,一定要求把「單卡故障視同部分服務中斷」寫入定義,否則對算力租賃來說,SLA形同虛設。 SLA的涵蓋範圍也要逐項確認。一份完整的GPU主機SLA,至少該分別載明網路可用率、電力可用率、硬體回應時效與儲存服務四個項目,各自有目標值與量測方式。只寫一個籠統的「服務可用率」,出事時你會發現每個環節都說不歸自己管。量測方式同樣要寫:由誰的監控系統認定?樣本間隔多久?雙方數據不一致時以何者為準?這三個問題在事故發生前都很好談,發生後就都不好談了。 賠償行情與申請方式 接著看排除條款與賠償方式。計畫性維護(常見每月2到4小時)、不可抗力、客戶自身操作失誤,通常不計入停機。賠償普遍採月租折抵,行情大致如下: 可用率低於99.9%:折抵當月月租5%到10% 可用率低於99.5%:折抵15%到25% 可用率低於99%:折抵30%以上,並可啟動提前終止權 特別留意賠償是「自動折抵」還是「須於事件後7天內書面申請」,後者常因沒人記得申請而形同放棄。以戰國

💡 快速答案:跑 SDXL 或 Flux 需要什麼等級的 GPU主機? SDXL 約 12GB、Flux FP8 約 16GB 就能跑,H100 MIG 1/4 月租 NT$15,000 即可起步;量產與影片生成用 80GB 單卡約 NT$50,000。戰國策台灣機房 2 小時部署。 先講門檻:SDXL 出圖約 12GB VRAM 就能跑,Flux.1 的 FP8 版約 16GB,影片生成一開口就是 40GB 起跳。換句話說,生圖的 GPU主機門檻其實不高,影片才是真正的怪物。這篇把 SD、Flux 到影片生成的硬體需求一次攤開,附上批次吞吐試算與工作室分級的租用方案,照自己的規模對號入座就行。 生成式應用的 GPU主機需求,跟 LLM 是兩套邏輯 同樣叫 AI 主機,跑擴散模型與跑語言模型的資源結構差很多。LLM 推論吃的是常駐 VRAM 加高併發吞吐,模型一直躺在卡上;擴散模型是一張一張圖的批次運算,VRAM 峰值出現在高解析度放大與 ControlNet 疊加的瞬間,平時反而空。這帶來兩個實務結論:生成式工作負載適合佇列制而不是即時併發制,任務排進佇列、完成後回呼通知,架構簡單又省卡;VRAM 要按「最複雜的那條工作流」抓,不是按平均值,峰值一爆就是整批任務失敗。 把常見的生成式負載攤開,大致落在三段光譜上:即時單張(電商後台改圖、設計師互動迭代)要的是低排隊延遲;批次量產(素材工廠、商品目錄更新)要的是整日吞吐;訓練與研發(風格 LoRA、工作流開發)則是間歇性的高峰。多數工作室三種都有,規劃時分開估量,再決定是租一台大的還是切幾份小的,算出來的答案常常跟直覺相反。 儲存是另一個被低估的環節。LLM 服務幾乎不產生資產,生成式工作流一天可以吐出上萬張圖、數百 GB 影片;模型檔本身也是一座山,checkpoint 每顆 6 到 12GB、LoRA 動輒上百顆,沒有規劃的話三個月就把磁碟塞爆。NVMe 放熱資料、NAS 做歸檔的分層,從第一天就要建立。 ▲ SDXL 到影片生成,VRAM 門檻決定你能接什麼案 SDXL 與 Flux 的 VRAM 門檻,一張表看懂 工作流 VRAM 需求 H100 單張出圖 最低可用方案 SD 1.5(512×512) 4–6GB 0.5 秒內 MIG 1/4 SDXL(1024×1024) 10

💡 快速答案:AI 推論服務該選什麼樣的 GPU Server? 用延遲與併發回推:內部小服務用 H100 MIG 1/4(月租 NT$15,000);百路併發用單卡搭 vLLM。放台灣機房延遲 10ms 內,戰國策 2 小時可部署,先小規格上線再擴容。 推論用的 GPU Server,選型邏輯跟訓練幾乎相反:訓練追求算力堆疊,推論追求的是每一塊錢的 VRAM 能承載多少併發、每一毫秒延遲能換到多好的體驗。一張 H100 切成四份 MIG,月租 NT$15,000 就能撐起一個正式服務;主機放台灣機房,使用者延遲壓在 10ms 以內。延遲、併發與成本這三件事怎麼平衡,這篇一次講清楚。 推論與訓練要的 GPU Server,是兩種不同的機器 很多團隊訓練完模型,直接拿訓練機跑推論,這通常是浪費。兩種工作負載的資源結構差很多:訓練吃算力與卡間互聯,推論吃 VRAM 容量與對外網路;訓練是長時間平穩滿載,推論隨流量波動,尖峰與離峰常差五到十倍;訓練壞卡可以從檢查點重來,推論壞卡就是服務中斷,直接影響營收與 SLA。 面向 訓練 推論 核心資源 算力+互聯(NVLink 900GB/s) VRAM 容量+對外網路 負載型態 連續數週滿載 隨流量起伏,尖峰是均值數倍 延遲要求 無感 首字回應 500ms 內 故障容忍 檢查點可恢復 需備援,中斷即損失 典型配置 四到八卡起跳 MIG 分割到雙卡 實際案例:一個八卡訓練機拿來服務中等流量的聊天應用,GPU 利用率往往不到 15%,改成 MIG 或單卡之後,同樣的服務品質,月費從 NT$350,000 掉到五萬以下。推論的省錢之道,是把規格切到剛剛好,而不是把大機器塞好塞滿。 選規格前先把服務型態分清楚,三類的資源畫像完全不同:即時對話(客服、助理)延遲敏感,規格看尖峰併發;批次處理(摘要、貼標、資料清洗)延遲無感,規格看每日總量,排在離峰跑可以把利用率拉滿;檢索類服務(embedding、rerank)模型小但請求量巨大,吃的是穩定低延遲而不是大 VRAM。一個產品常常三種負載都有,拆開部署、各給各的規格,總成本會比全部塞進同一台大機器低得多。 ▲ 台灣機房對即時 AI 應用的體感差距,海外機房追不上 延遲的三個來源:模型、網路、排隊 使用者感受到的等待,等於模型延遲加網路延遲加排隊延遲,三者要分開

💡 快速答案:訓練 LLM 需要幾張 GPU 才夠? 7B LoRA 約 20GB,一張 H100 80GB 就夠;13B 全參數需四卡;70B 全參數破 1.3TB 要十六卡。戰國策單卡月租 NT$50,000,先用時租 NT$120 驗證再簽月約。 直接給結論:7B 模型的 LoRA 微調,一張 H100 80GB 就能起跑;13B 全參數要四卡;70B 全參數沒有八卡加 NVLink 就別碰。訓練用 GPU 主機的選型,九成答案藏在 VRAM 算式裡,剩下一成在資料管線。這篇給你一條實用的估算公式、三個規模的實戰配置、九種 OOM 解法,以及從實驗到正式訓練的租用策略,照著配就不會買錯。 先算 VRAM,再挑 GPU 主機:一條夠用的公式 訓練時的 VRAM 消耗分四塊:模型權重、梯度、優化器狀態、活化值。用 BF16 訓練搭 Adam 優化器,前三塊合計約是每參數 16 到 18 bytes;活化值跟批次大小與序列長度成正比,粗估再加兩到三成。所以全參數微調的速算式是:參數量 × 18 bytes × 1.25。7B 落在 140 到 160GB,13B 約 260 到 300GB,70B 直接站上 1.3TB 以上。 套公式之前先確認一件更根本的事:你的目標是讓模型學新知識,還是學新格式?學格式(回覆語氣、輸出結構、工具呼叫習慣)用 LoRA 就綽綽有餘;要灌進大量領域知識,得靠全參數搭配持續預訓練才有效,兩者的 VRAM 需求差一個量級。目標搞錯,後面的算式再精準都是白算,這是開案會議上最值得先吵清楚的一題。 LoRA 與 QLoRA 把這條式子大幅壓縮。LoRA 凍結基底模型(每參數只佔 2 bytes),只訓練小型適配器,優化器狀態跟著縮小百倍;QLoRA 再把凍結權重壓成 4-bit,每參數只剩約 0.6 byte。換算成實際數字如下: 模型規模 QLoRA LoRA(BF16) 全參數(BF16+Adam) 建議配置 7B 約 10GB 約 20GB 140–160GB 單卡/單卡/雙卡 13B 約 16GB 約 35GB 260–300GB 單卡/單卡/四卡 70B 約 48GB 160–180GB 1.3TB 以上 單卡/四卡/雙節點十六卡 表中數字以 2K 到 4K 序列長度、小批次為前提。要特別提防序列長度這個變數:活化

💡 快速答案:GPU主機一個月租金要多少錢? 2026 年行情:H100 MIG 1/4 月租 NT$15,000、單卡 NT$50,000、八卡 NT$350,000,時租約 NT$120。戰國策的月租含電力與頻寬,簽 12 個月約可打 8 折。 先給答案:2026 年台灣 GPU主機的月租行情,從 H100 MIG 切割的 NT$15,000 到八卡整機的 NT$350,000,時租約 NT$120 一小時。但牌價只是起點,電力與頻寬含不含、隱藏成本藏在哪、長約能折多少,才是最後帳單好不好看的關鍵。這篇用我們經手過的實際租約與退租案例,把每一筆錢攤開來給你看。 2026 年 GPU主機價格帶總覽,先看懂牌價 市面上的報價單五花八門,回歸到規格本身,價格帶其實相當集中。以戰國策 2026 年的 H100 牌價為例,整理成一張表: 方案 VRAM 適合場景 月租牌價 MIG 1/4 卡 約 20GB 推論服務、生圖、輕量實驗 NT$15,000 單卡 80GB HBM3 7B–13B 微調、量產生圖 NT$50,000 雙卡 160GB 7B 全參數、雙服務分流 NT$100,000 四卡 320GB 13B 全參數、70B LoRA NT$200,000 八卡 640GB 70B 級訓練、叢集節點 NT$350,000 時租 依方案 POC、短期實驗 約 NT$120/小時 兩個閱讀重點。第一,價格不隨卡數線性成長:八卡月租是單卡的七倍而非八倍,因為機箱、電源與機櫃空間的固定成本被攤薄了,量大反而單價低。第二,MIG 方案是把一張實體 H100 切成硬體隔離的分割區,VRAM 與運算單元獨立,不是超賣的虛擬卡,拿來跑正式推論服務完全站得住腳。 順帶回答一個常被問的問題:2026 年了,為什麼租賃市場的主力還是 H100?新一代晶片的供給仍優先流向大型雲端業者,租賃市場的 H100 生態最成熟、軟體相容性最穩,而且牌價比兩年前的高點下修了兩成上下,以性價比來說,現在反而是用 H100 的好時機。 另一個看牌價的角度,是「這個價位一個月能做完什麼」。NT$15,000 的 MIG 方案,可以撐起一個 50 路併發的客服機器人整月在線;NT$50,000 的單卡,夠跑完兩輪 7B 微調再加上線服務;NT$200,000 的四卡,能收掉一個 70B Lo

💡 快速答案:AI 伺服器解決方案該怎麼規劃才不會買錯? 先看規模:7B 微調一張 H100 就夠;70B 全參數要八卡加 NVLink,跨節點才用 InfiniBand。戰國策 H100 單卡月租 NT$50,000、八卡 NT$350,000,2 小時部署,先租後買最穩。 AI 伺服器解決方案的規劃,核心其實只有三個問題:模型多大、資料多大、多久要看到結果。答案會直接決定你該停在單卡、升級到多卡 NVLink,還是跨入多節點 InfiniBand 叢集。這篇文章把三個階段的硬體架構、網路與儲存配套一次攤開,並附上我們在台北機房實際部署過的參考架構表。先對號入座,再談規格與預算,至少能省下三成冤枉錢。 規劃 AI 伺服器解決方案前,先找出規模落點 我們輔導客戶時最常看到兩種極端:需求明明只是 7B 模型微調,一開口就問八卡叢集的報價;或者反過來,想全參數訓練 70B,預算卻只編了一張卡。前者把錢燒在閒置算力,後者把錢燒在永遠跑不完的時程,兩種都很可惜。 判斷落點的方法很直接,用參數量對照 VRAM 需求:7B 模型的 LoRA 微調約需 20GB,一張 NVIDIA H100 80GB HBM3 綽綽有餘;13B 全參數微調要 260GB 上下,至少四卡;70B 全參數直接站上 TB 級,單節點八卡都得靠分片技術才塞得下。推論服務則改看併發量:一張 H100 跑 7B 量化模型,搭配 vLLM 可以撐住兩百路等級的聊天併發。 另外兩個維度也要一起看。資料量決定儲存與搬運方式,10GB 的資料集怎麼做都行,10TB 的語料就要認真規劃 NVMe 容量與上傳路徑;時程壓力則決定卡數,同一個訓練任務,四卡大約能把單卡的時間壓到三成,趕上線的專案,用卡數換時間通常是划算的交易;反過來,研究型任務沒有死線,單卡慢慢跑,預算可以省一半以上。 階段 典型場景 關鍵硬體 互聯技術 月租行情 單卡 7B–13B 微調、推論、生圖 H100 80GB ×1 PCIe 5.0 約 NT$50,000 多卡 13B 全參數、70B LoRA H100 ×2–8 NVLink 900GB/s NT$100,000–350,000 多節點 70B 全參數、預訓練 H100 ×16 起 InfiniBand 400Gbps 專案報價 把自己放進表裡的哪一列,後面的架構與預算討

💡 快速答案:企業要自建還是租用 AI 實體主機? 關鍵在使用率:GPU 月用量超過 400 小時,實體主機通常比雲端划算;使用率穩定逾六成、規劃五年以上才考慮自建。自建八卡 H100 首年約 NT$1,300 萬;戰國策八卡月租 NT$350,000,建議先租後買。 自建一套八卡 H100 的 AI 實體主機,硬體加首年營運的總投入約新台幣 1,300 萬元起,從決策到上線大約一季;租用同級設備月付 35 萬元,最快 2 小時開通。這中間沒有標準答案,只有適不適合你的使用率、團隊與資金結構。這篇指南把自建成本一項項拆開,對照租用方案的行情,再給你四個問題組成的決策框架——照著回答,租或買的答案自然浮現。 AI 實體主機是什麼?先對齊定義 AI 實體主機指為 AI 工作負載配置的專屬實體伺服器:GPU、CPU、記憶體、儲存整機獨享,不經虛擬化直接跑在硬體上,也就是俗稱的裸機。它可以是你自購後放進機房的設備,也可以是向主機商承租的專屬機器;共同點是效能可預測、資料位置明確,與多租戶共享的雲端 GPU 形成對照。市場上 GPU主機、GPU Server、AI 伺服器這些詞經常混用,採購時認「獨享實體、無虛擬化」這個定義,就不會被話術帶偏。 要不要「實體」,判斷點通常有三個:負載是否長期穩定、資料是否受個資法或產業法規約束、成本是否需要按月固定。三個都是,實體就幾乎是必選項,剩下的問題只是自建還是租用——這正是本文要拆的題目。 順帶說明,這裡談的「實體」不等於「放在自家辦公室」。絕大多數的 AI 實體主機都住在專業機房裡,你透過網路使用它,操作體驗跟用雲端幾乎一樣,差別在資源獨享與費用結構。想像成長租一整層樓與住飯店的差別,就八九不離十了。 ▲ 自建動輒 8-12 週:機房、電力、散熱、人力全要自己扛 自建 AI 實體主機:成本一項項拆 硬體採購 八卡 H100 的 HGX 整機行情約 900 萬到 1,200 萬元,含 NVLink 基板、雙路 CPU、1TB 記憶體與 NVMe 儲存。這還沒完:機櫃級交換器、儲存伺服器、備援電源與線材,預算再加一到兩成。GPU 世代每 18 到 24 個月更迭一次,財務上多以三到五年攤提,期末殘值的波動要自己吸收——上一代卡在新卡發表後的租賃市場價,掉三成是常態。採購管道也影響價格與交期:原廠整機保固完整

💡 快速答案:GPU 實體主機和雲端 GPU 哪個比較划算? 八張 H100 全時用三年:雲端隨需約 US$98/小時、總價約 NT$7,980 萬;租用戰國策實體主機月付 NT$350,000,三年約 NT$1,260 萬,價差逾六倍。低用量選雲端、穩定負載選實體。 先給結論的數字:八張 H100 全時使用三年,國際雲端隨需方案的總費用約新台幣 7,900 萬元,租用台灣機房的 GPU 實體主機約 1,260 萬元,差距超過六倍;但如果一個月只用一百小時,結論會完全反過來。實體與雲端沒有絕對優劣,勝負取決於使用率、資料敏感度與團隊型態。這篇文章把三年總持有成本攤開試算,再比效能隔離與資料主權,給你一套可以直接套用的決策方法。 GPU 實體主機與雲端 GPU:本質差異在哪 GPU 實體主機就是俗稱的裸機(bare metal):整台實體伺服器由你獨享,GPU、CPU、記憶體、硬碟與網卡都不與他人共用,中間沒有虛擬化層,作業系統與驅動版本自己決定。雲端 GPU 則是從大型資源池切出一個執行個體給你,底層實體機可能同時服務多個租戶,開關以分鐘計、計費以小時計。市場上講的 GPU主機租用、GPU Server 專屬方案,多半指前者。 這個差異衍生出兩邊的性格:實體主機像自有辦公室,穩定、可控、長住便宜,但搬遷擴充要時間;雲端像共享辦公室,說走就走、全球都有據點,但長住的房租驚人,隔壁鄰居吵不吵也不由你。後面所有的比較——成本、效能、法遵——都只是這個本質的展開。 市場風向的轉變也很能說明問題。前幾年的主旋律是什麼都上雲,這兩年愈來愈多 AI 團隊把穩定負載搬回實體,業界稱之為回流。原因不難理解:網站流量忽高忽低,雲端的彈性是剛需;模型訓練與推論的負載卻常常是一條平穩的直線,為用不到的彈性付出六倍價格,財務長遲早會找上門。工具沒有對錯,是負載型態變了,答案跟著變。 ▲ 長期穩定負載:實體租用 NT$1,260 萬 vs 雲端隨需 NT$7,980 萬(8×H100) GPU 實體主機 vs 雲端:三年 TCO 試算 用市場公開行情,以「八張 H100、全時運轉、三年」為基準情境,匯率以 31 計: 方案 計費方式 月成本 三年總成本 雲端隨需(AWS p5.48xlarge) US$98/小時 約 US$71,500(約 NT$222 萬) 約

💡 快速答案:GPU Server 規格怎麼看?H100、A100、L40S 該選哪一張? 看 GPU Server 規格先抓五個數字:VRAM、記憶體頻寬、TFLOPS、互連與功耗。H100 適合訓練、L40S 主打推論繪圖;台灣 H100 單卡月租約 NT$50,000,戰國策可先租後買,降低選錯風險。 看 GPU Server 規格表,先抓五個數字:VRAM 容量、記憶體頻寬、TFLOPS 算力、卡間互連、整機功耗,九成的選型問題都能靠這五項回答。這篇指南用 H100、A100、L40S 三張市場主力卡當座標,逐一解釋每個規格背後代表的實際能力,最後附上依工作負載整理的選型速查表。你不需要懂半導體,只要看得懂這幾個數字的相對關係,就足以跟供應商平起平坐地對話。 GPU Server 規格表的五個關鍵數字 拿到規格書,照這個順序檢查:第一,VRAM 容量與種類——決定模型裝不裝得下;第二,記憶體頻寬——決定資料餵不餵得飽;第三,TFLOPS 與支援精度——決定算得多快;第四,互連介面(NVLink、PCIe 世代)——決定多卡協作的效率;第五,功耗與散熱設計——決定機房裝不裝得下。其餘的核心數量、時脈這些參數,對採購決策的影響遠小於這五項,看不懂可以先跳過,不影響判斷。 先預告兩個規格表上的經典陷阱:一是算力數字「含稀疏化」與「不含」可以差一倍,比較時務必對齊基準;二是同一顆晶片有 SXM 與 PCIe 兩種版本,頻寬與功耗上限完全不同,只寫「H100」三個字的報價單,資訊是不完整的。這兩點下面會展開講。 為什麼要花力氣看懂這五個數字?因為它們是採購、財務與工程三方唯一的共同語言。工程師關心跑不跑得動、跑多快;財務關心攤提與月費;採購關心規格書怎麼寫才不會被鑽漏洞。把需求翻譯成這五個數字,三方對話的誤差會小很多——我們看過太多專案卡在各說各話,最後買到一台誰都不滿意的機器。 另外先建立一個心理準備:規格數字是「上限」,不是「日常」。實際吞吐取決於模型結構、批次大小、資料管線與軟體版本,同一張卡在不同團隊手上跑出兩倍差距很正常。規格表幫你排除絕對不夠用的選項;至於用得多好,是工程功力的範疇。兩件事分開看,期望值才不會失真。 ▲ NVLink 900GB/s 高速互連,多卡訓練的頻寬命脈 VRAM 與 HBM:先確認模型裝不裝得下 VR