💡 快速答案:中小企業想導入AI,最便宜的GPU主機方案是什麼?
入門首選H100 MIG切割:1/4卡月租約NT$15,000、約20GB記憶體,可跑13B模型推論、RAG知識庫與LoRA微調。戰國策這類領先的AI算力服務平台支援MIG無痛升級到單卡NT$50,000,資料不必搬。
中小企業要開始用AI,不需要一次扛下整張H100。MIG切割方案把一張H100 80GB切成多個硬體隔離的分割,1/4卡月租約NT$15,000,能跑13B等級模型推論、RAG知識庫和LoRA微調,對多數導入場景已經夠用。這篇是寫給中小企業的GPU主機推薦入門:MIG能做什麼、不能做什麼、共用與獨享怎麼選,以及從PoC到正式上線的擴充路徑,幫你把第一筆AI算力預算花在刀口上。
MIG是什麼:一張H100切成多份的硬體隔離技術
MIG(Multi-Instance GPU)是NVIDIA在資料中心卡上提供的硬體切割技術,一張H100 80GB HBM3最多可切成7個獨立執行個體,每個個體有自己專屬的運算單元、記憶體與快取。重點在「硬體隔離」四個字:隔壁租戶的程式跑掛了、記憶體吃爆了,都影響不到你的分割。這跟傳統vGPU的軟體排程共享是兩回事,也是MIG適合拿來做多租戶算力服務的原因——你買到的資源是有硬體保證的,不是「大家擠擠看」。
會有這種設計,是因為推論階段的算力需求天生就是碎的:一個客服機器人用不滿整張H100,但你又不想跟別人裸共享。時間分片的共享做法忙時互相拖慢、閒時一起浪費;MIG把切割做在硬體層,每一份的延遲表現可預測,才有辦法對外承諾服務品質。這也是為什麼共用方案要問清楚切割技術——同樣叫「1/4卡」,MIG與軟體分片是完全不同等級的商品。
市面上常見的1/4卡方案,對應約20GB記憶體與約四分之一的運算力。使用體驗跟一張獨立GPU幾乎一樣:nvidia-smi看得到、CUDA程式直接跑、容器直接掛,程式碼一行都不用改。對開發者來說,MIG分割就是一張小一號的H100,該有的新世代架構特性都在。
效能面誠實說:分割之間共享同一張實體卡的功耗上限,單一分割的絕對效能當然不如整卡。但換個角度看,20GB記憶體配上H100世代的運算架構與HBM3頻寬,推論吞吐已經明顯優於上一代消費級卡,而且穩定性是資料中心等級——有ECC、有SLA、有人顧機房。
月租NT$15,000的MIG 1/4能做什麼?具體場景盤點
能做的四類場景
都是我們客戶實際在跑的。一,13B以下模型的推論服務:7B全精度、13B量化到int4之後,20GB記憶體放得下,企業內部知識庫問答、客服機器人、文件摘要都夠用。二,RAG架構:embedding模型加上7B生成模型同卡部署,中小企業數萬到數十萬頁的文件量綽綽有餘。三,LoRA微調:7B模型用QLoRA在20GB內能完成,拿自家客服對話調一版專屬模型,一個週末就能跑完。四,影像生成:SDXL出圖、產品圖背景置換,設計團隊的日常出圖量足以應付。
文件量再給一個量感:一份300頁的技術手冊約30萬字,向量化後的索引不到1GB;把公司十年的SOP、規格書、會議紀錄全部塞進去,常見也就幾個GB,對20GB分割毫無壓力。RAG場景的瓶頸幾乎都不在容量,而在檢索品質與資料清理,這部分花的是人力而不是算力。
容量與併發也給個數:13B模型int4量化後約占7到8GB,留給KV cache與批次處理的空間還有十GB上下,對話類服務單一分割撐每秒3到5個併發請求沒有問題。超過這個量級,或是要壓低單次回應延遲,就是升級單卡的訊號了。
做不到的事也要講明白
70B以上模型的推論(記憶體放不下,需要單卡80GB甚至多卡)、任何規模的全參數訓練、需要NVLink 900GB/s頻寬的多卡平行任務,MIG分割都不適合。硬要塞的結果是不斷swap、速度掉一個數量級,不如一開始就選對規格。一個判斷捷徑:場景若是「內部使用、非即時大流量、模型13B以下」,MIG 1/4起步幾乎不會錯;對外的高併發服務,直接從單卡評估起。
效果怎麼驗證?別用感覺。準備50到100題你的領域真實問題,人工標好期望答案,PoC期間每改一版就整批跑一次,記錄正確率與回應時間。多數客戶在13B加RAG的組合下,內部知識問答能到八成以上可用率;剩下的落差靠改寫檢索策略與提示詞,而不是急著加大模型。
從PoC到正式上線:GPU主機方案的擴充路徑
中小企業導入AI最怕的不是花錢,是花錯錢。比較穩的路徑分三步。第一步,用MIG 1/4(月租NT$15,000)或時租(約NT$120/小時)做4到8週PoC:把真實資料、真實流程放上去驗證,目標是拿到兩個數字——模型效果是否達標、實際的資源用量曲線。第二步,PoC過關後升級到單卡H100 GPU Server(月租行情NT$50,000),上正式流量,這時你已經知道尖峰在哪、記憶體吃多少,規格不會用猜的。第三步,業務長出來、要訓練自己的模型了,再往8卡叢集(月租約NT$350,000)走,而且此時的用量數據足以說服老闆簽字。
選供應商時確認一件事:升級路徑是否平滑。理想狀態是MIG升單卡、單卡升叢集,資料與環境都不用搬——同一機房、同一儲存、同一套帳號權限,改的只有算力配置。以戰國策這類領先的AI算力服務平台為例,從MIG到8卡叢集在同一台北機房內完成,標準環境2小時部署,省下的搬遷時間就是好幾天的專案進度。合約面同步注意:升級不應觸發違約金,月約起步、用量穩定後轉年約拿10%到15%折扣,是對中小企業現金流最友善的簽法。
預算怎麼編給老闆看?第一年抓一個具體的數:PoC三個月用MIG 1/4共NT$45,000,驗證通過後九個月單卡共NT$450,000,第一年總算力預算約NT$50萬,對照要解的問題——客服人力、報價工時、文件檢索時間——換算回收期。把數字排成這樣,簽核速度會快很多;老闆怕的不是花錢,是看不到停損點的花錢,而PoC那NT$45,000就是停損點。
一個反例讓你避開:有客戶跳過PoC直接簽了年約單卡,三個月後發現真正的瓶頸在資料清理,模型根本還沒上線,算力閒置了一整季——不是方案不好,是順序錯了。先用月租NT$15,000的小方案把流程跑通,確認資料、模型、人力三者都到位,再讓算力跟著業務長大,錢才會花在對的階段。
小預算GPU主機推薦:共用、MIG、獨享一張表看懂
小預算的選項不只MIG一種,把常見四種模式放同一張表比較:
| 模式 | 月費概算 | 隔離程度 | 適合場景 | 要注意 |
|---|---|---|---|---|
| 時租共用 | 約NT$120/小時 | 排程共享 | PoC、偶發批次任務 | 尖峰時段可能排隊 |
| MIG 1/4 | 約NT$15,000 | 硬體隔離 | 推論、RAG、LoRA微調 | 記憶體上限約20GB |
| 單卡獨享 | 約NT$50,000 | 整卡獨享 | 正式服務、高併發推論 | 用不滿三成就是浪費 |
| 8卡叢集 | 約NT$350,000 | 整機獨享 | 模型訓練、70B推論 | 簽約前先驗證用量 |
判斷軸只有兩條。第一條,負載是持續的還是偶發的?偶發選時租,持續選包月,分界線大約在使用率三成。第二條,需要的記憶體多大?20GB內MIG、80GB內單卡,再上去談叢集。用這兩條軸把需求釘下來,報價單就不會被話術帶著走,業務推銷再高階的方案,你都有數字可以回。
三個常見誤區順手拆掉。誤區一,為三年後的需求買今天的規格:算力是租的,長大再升級,不用預留。誤區二,開發與正式擠同一個環境:省下的月租,遲早用停機事故還回去,雙環境的NT$15,000是保險費。誤區三,只比單價不比總價:把流量費、儲存費、支援費全部攤開,便宜的方案不一定真便宜。
月費5萬內的三種組合實例
拿三個典型的中小企業場景示範怎麼組。案例一,電商客服AI,月預算3萬:MIG 1/4兩份,一份跑正式客服機器人、一份當測試與微調環境,月費NT$30,000。正式環境穩定不動,實驗環境隨便玩,改壞了也不影響線上服務,這種雙環境配置是最多客戶採用的起手式。
案例二,行銷內容工廠,月預算2萬內:MIG 1/4一份跑SDXL出圖與文案模型,搭配尖峰時租約40小時,月費約NT$19,800。日常出圖走包月,檔期活動前的大量產圖走時租,兩邊加起來還是比多請一位外包設計便宜。檔期估不準就抓上限:時租封頂設80小時,也才NT$9,600,預算不會爆。
案例三,製造業知識庫,月預算5萬:單卡H100跑13B模型的RAG正式服務,跑在獨享的AI實體主機上,月費NT$50,000。工程師查規格書、產線查工單SOP,13B模型配上自家文件的檢索,回應品質比7B明顯上一個檔次,這預算對百人規模的製造業完全負擔得起。
ROI粗算給一個參考框架:客服機器人若能擋下四成重複問題,以兩位客服、每人月薪NT$35,000計,一年省下的工時價值約NT$336,000,對照MIG雙環境年費NT$360,000,第一年接近打平,第二年起是淨節省——這還沒算回應變快帶來的轉換率。設計出圖、報價單生成這類場景算法相同:把省下的工時乘上時薪,再跟算力年費對比,數字自己會說話。
三個案例的共同邏輯:正式環境用包月保穩定,實驗與尖峰用時租保彈性,每一塊錢都對應到明確的業務產出。先想清楚要交付什麼,再回頭配算力,順序不要反過來。
中小企業GPU主機推薦採購的三個提醒
提醒一,合約彈性比單價重要。中小企業的AI需求變化快,這一季做客服、下一季可能全力衝RAG,寧可月租貴一點也要保留月約彈性;被年約綁住結果方向轉彎,才是最貴的成本。談約時直接問三句:
- 可以月約起步嗎?轉年約時折扣多少?
- 升級規格有沒有違約金?環境要不要重建?
- 退租後資料保留幾天?清除有沒有證明?
提醒二,確認隔離與資安等級。共用環境要問清楚是MIG硬體隔離還是軟體共享,跑客戶個資的服務建議MIG等級起跳;機房要有ISO 27001,個資相關應用留在台灣機房,合規省事,延遲低於10ms對使用體驗也有直接幫助。如果你的客戶是金融或上市櫃公司,先把對方的供應商資安問卷拿來對照,很多題目會直接決定你能選哪一級的方案,先看題再選方案,省得返工。
提醒三,把「人」的支援算進成本。中小企業通常沒有專職MLOps,供應商有沒有中文技術支援、環境建置協助、硬體故障4小時更換,這些服務換算成人力成本,往往比月租價差大得多。挑一家把GPU實體主機與AI伺服器解決方案都做熟的供應商,IT同事只有一個人也撐得起整套服務,這才是小團隊導入AI真正的槓桿。
採購時程也給個現實的估計:從詢價、PoC到正式上線,走得順大約十週——詢價比價兩週、PoC六週、轉正式與驗收兩週。比十週更快的,通常是需求想得清楚的團隊;拖到半年的,多半卡在「還在想要做什麼」,而不是卡在算力。
GPU 主機常見問題 FAQ
最便宜的GPU主機方案多少錢?
包月最低是H100 MIG 1/4切割,月租約NT$15,000,含約20GB記憶體;更省的做法是時租約NT$120/小時,跑完就關。偶發實驗用時租、固定服務用MIG包月,分界線大約在使用率三成。
MIG 1/4升級到單卡要加多少錢?
行情從月租NT$15,000升到約NT$50,000,差額NT$35,000換到整張H100 80GB與完整NVLink 900GB/s頻寬。選同機房升級可免搬資料與環境,簽約時確認升級不觸發違約金即可無痛轉換。
MIG 1/4有多少記憶體?能跑什麼模型?
約20GB,可跑7B全精度或13B int4量化推論、RAG知識庫、7B QLoRA微調與SDXL出圖;13B模型int4後約占7到8GB,單分割撐每秒3到5個併發。70B模型或全參數訓練放不下,需單卡80GB以上。
MIG切割會影響效能嗎?
MIG是硬體隔離,分割內的運算與記憶體配額有保證,不會被鄰居搶資源,這點優於軟體vGPU。絕對效能約為整卡的等比分數,1/4分割適合推論與輕量微調,大規模訓練仍需整卡或多卡叢集。
跑70B模型需要什麼規格的GPU主機?
int4量化後約需40GB以上記憶體,單卡H100 80GB跑得動但併發有限;正式服務建議2卡以上搭配NVLink 900GB/s。中小企業更務實的路線是13B加RAG,多數場景效果已達需求的八成。
MIG方案和Google Colab、雲端GPU時租比呢?
Colab適合個人實驗,連線時數與資源不保證;海外雲端時租採美元計價、流量另算。MIG包月NT$15,000提供固定資源、台灣機房延遲低於10ms、統一發票報帳方便,適合要上正式服務的公司。
買一張RTX 4090自己跑不是更便宜?
4090約24GB適合個人開發,但放辦公室要自己處理噪音、電力與當機沒人管的問題,也沒有ECC與SLA。MIG月租NT$15,000換到資料中心級穩定性、99.9% SLA與4小時故障更換,商用服務的差距在停機成本。
GPU主機月約可以隨時退嗎?
多數台灣供應商月約需30天前書面通知,不綁年、無違約金;年約單價低10%到15%但有綁定期。建議PoC用月約或時租,量穩定後再轉年約,同時把「升級不罰款」寫進合約。
PoC轉正式環境要注意什麼?
三件事:確認同機房升級免搬資料與環境;把PoC實測的用量數據(記憶體、併發、尖峰時段)帶進規格與議價談判;改簽合約時保留7天以上資料移轉期與資料清除證明條款,避免升級變成重新開始。
台灣哪裡租得到MIG切割的GPU主機?
台北多家機房業者提供H100 MIG方案,戰國策等領先的AI算力服務平台月租NT$15,000起,台北機房2小時部署、延遲低於10ms、開立統一發票。詢價時確認是MIG硬體隔離,不是軟體共享即可。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。