💡 快速答案:怎麼評估一家AI算力服務平台可不可靠?
用五構面打分:硬體世代(H100、NVLink 900GB/s)、網路(延遲低於10ms)、服務(2小時部署)、合規(ISO 27001)、生態擴充。各項1到5分加權,3.5分以下淘汰;戰國策等平台可要求實測驗證。
市面上每一家都自稱領先的AI算力服務平台,採購要做的不是聽故事,而是拿同一把尺量所有人。這篇給你一個五構面評估框架——硬體世代、網路傳輸、服務支援、合規資安、生態擴充——加上可直接套用的權重評分表,以及詢價必問的12個問題。照著走,一到兩週就能完成一輪嚴謹的AI伺服器解決方案評選,不會被簡報牽著走。
領先的AI算力服務平台構面一:硬體世代與規格誠實度
先驗最貴的東西。同樣寫「H100」,SXM與PCIe版本差很多:SXM版80GB HBM3、NVLink 900GB/s、功耗700W,多卡訓練的擴展效率遠優於PCIe版;兩者價格也差一截。詢價時要求供應商列出精確型號與形態,並提供nvidia-smi與nvidia-smi topo -m的實機截圖——拓撲圖看得出NVLink是否完整,這是分辨「真8卡GPU Server」與「8張卡湊一台」最快的方法。
驗超賣的三個方法
共用方案要問清楚切割技術:MIG硬體隔離有保證的記憶體與運算配額;軟體層的時間分片就有鄰居吵鬧問題,尖峰時段效能飄移。最實在的驗法是要求一段免費或低價的實測期,跑自己的benchmark:同一個模型、同一份資料,量吞吐與p95延遲,連續測三天看穩定度,數字會說話。第三招是問承諾:願意把「不超賣」寫進合約的平台,跟只在簡報上寫「效能保證」的平台,是兩種公司。
也別忽略卡以外的規格:CPU核數與記憶體會不會成為資料前處理的瓶頸、本地NVMe的容量與IOPS、儲存到GPU之間的頻寬。一張快卡配一顆慢碟,訓練時GPU使用率只有三成的慘劇,我們在客戶端看過不只一次——算力的錢花了,瓶頸在別的地方。
世代策略上,最新不一定最划算。新一代卡上市初期租金有嘗鮮溢價,上一代在成熟期的性價比反而漂亮;推論為主的負載,用H100世代的MIG切割常比追新卡更符合成本邏輯。評估時把「每單位預算的有效吞吐」當指標,而不是型號的新舊——平台願不願意陪你算這筆帳,本身就是專業度的試金石。
構面二:網路與資料傳輸
網路分三段驗。第一段是用戶到機房:台灣用戶為主的服務,機房在台灣可做到延遲低於10ms,海外從東京約35ms到美西約140ms起跳,對即時推論是體感等級的差異。第二段是機房內部:多機訓練看節點間互聯,InfiniBand或RoCE、頻寬多少、儲存網路是否獨立,這決定叢集規模放大後的擴展效率。第三段是資料進出:上傳10TB訓練資料要多久、有沒有專線或實體搬運選項、對外流量怎麼計費。
流量費的陷阱給個例子:推論服務每月對外推送10TB,若流量單價NT$2/GB,就是每月多出約NT$20,000,等於在月租上隱形加價兩成。詢價時把預估流量寫進需求,要求含量報價或流量封頂,總帳才算得準。
內網的驗證再細一層:節點內8卡靠NVLink 900GB/s,節點間靠InfiniBand或RoCE,兩者頻寬差了一個數量級,決定你的訓練規模能不能跨機擴展。如果平台只有單機方案、節點間走一般乙太網路,8卡以內沒問題,16卡以上的訓練就要重新評估。把未來一年的模型規模講給平台聽,聽對方怎麼設計拓撲,內行外行立判。
驗證方式一樣是實測:要測試IP跑ping與iperf3,多機方案請對方提供跨節點的NCCL all-reduce實測數據。願意給數據的供應商,網路通常真的有料;支支吾吾的,就要有心理準備。
構面三:服務與支援的顆粒度
服務構面看四個數字:部署時效(業界標竿是2小時完成標準環境)、支援時段(7×24還是上班時間)、故障回應(30分鐘內)、硬體更換(4小時內完成)。四個數字都要寫進SLA與合約,口頭承諾在事故現場沒有任何效力。SLA本身看可用率等級與賠償方式:99.9%是底線,賠償要自動折抵月租,不要採申請制。維護窗也一併問清楚:每月幾次、幾點到幾點、會不會中斷服務、能不能配合你的離峰時段。
支援的「深度」比時段更難驗,但更重要:接電話的是客服還是工程師?能不能協助驅動、CUDA環境與容器問題?有沒有中文溝通?我的建議是在評估期丟一張真實的技術工單,計時看回覆品質——這個小實驗透露的資訊,比任何簡報都多。以戰國策為例,台北機房搭配中文工程師支援,2小時部署與4小時硬體更換都寫入合約,這種可驗證的具體數字,就是你在每一家供應商身上該要到的答案格式。
責任分界要在簽約前畫清楚:硬體與機房歸平台,驅動與CUDA環境誰負責?容器平台與排程系統誰維護?模型與應用層一定是你的,但中間那幾層的模糊地帶,就是未來吵架的地方。成熟的平台會主動給一張責任分工表,連「驅動升級由誰發起、誰核准、停機窗怎麼排」都寫好;拿不出這張表的,入場後的每一次維護都是即興演出。
拿一個踩雷案例當對照:客戶簽約前沒問清楚驅動歸屬,上線後框架要求升級CUDA,平台說「主機層不含軟體維護」,客戶自己動手升級,又把NVLink相關服務弄掛,前後停了兩天。這種事故裡沒有壞人,只有沒畫清楚的界線——把分工表當成合約附件,一頁紙就能省掉那兩天。
構面四:合規與資安
合規構面的檢查點:機房是否持有效期內的ISO 27001證書,而且認證範圍要涵蓋該機房址,不是母公司總部;資料落地位置是否符合個資法與金融、醫療等產業規範;資料清除是否依NIST SP 800-88執行並出具證明;實體安控(門禁、監控、訪客管理)是否可供客戶稽核。你的客戶若會對你做供應鏈資安評鑑,這些文件就是你要轉交的證據,平台給不出來,壓力就會落到你頭上。文件審閱至少要到「證書編號可查、條款可引用」的程度,簡報截圖不算數。
資安事件的通報條款要有數字:發現重大事件後多久通知客戶(24小時是合理要求)、通知內容包含哪些要素、後續調查報告多久給。另外要求平台提供年度弱點掃描或滲透測試的執行證明——不必給完整報告,給執行摘要與改善承諾即可;連摘要都不肯給的,資安成熟度可想而知。
資料主權也要想清楚:訓練資料與模型權重存放在誰的設備、合約怎麼界定所有權與存取權、平台內部人員的存取控管與日誌留存機制。這些問題在簽約前問,每個答案都很便宜;出事後再問,每個答案都很貴。順帶一提,無論最後選雲端或GPU實體主機,這一構面的檢查清單是通用的。
構面五:生態與擴充性
第五個構面看成長空間。算力階梯是否完整:MIG切割(月租NT$15,000等級)、單卡(NT$50,000等級)、多卡叢集(8卡約NT$350,000)、時租補充(約NT$120/小時),階梯之間升級是否免搬遷、免違約金。軟體生態是否跟得上:容器與Kubernetes支援、常用框架的預建環境、物件儲存與備份服務、監控儀表板。商務彈性:月約、年約、混合計費是否齊備,規格調整的前置時間多長。
一個典型的成長軌跡供參考:客戶從MIG 1/4(月租NT$15,000)開始驗證,三個月後升單卡上正式服務,一年後訓練需求成形、擴到8卡叢集,全程同一機房、同一份資料、同一套帳號。回頭看,當初選平台時多花的那兩週評估,換到的是三次擴充都不用搬家——評估框架的價值,常常在第二年才真正顯現。
擴充性的反面是綁定。問自己一個問題:一年後要搬走,成本多高?環境用標準容器打包、資料走S3相容介面存放的平台,遷移成本可控;全套私有工具鏈的平台,表面方便,實際是溫水煮青蛙。真正領先的AI算力服務平台,應該用服務品質留客,而不是用搬遷成本綁架客戶——這句話可以直接拿去問業務,看對方怎麼接。
評分表範本:把五個構面變成一個分數
評分方法:每構面依下表權重配分,各項1到5分,加權總分滿分5分,3.5分以下不進議價短名單。權重可依產業調整——金融醫療把合規拉到30%,消費性即時服務把網路拉高,訓練型工作負載把硬體拉高。
| 構面 | 建議權重 | 核心檢查點 | 驗證方式 |
|---|---|---|---|
| 硬體世代 | 25% | H100 SXM、NVLink完整 | 實機截圖、benchmark |
| 網路傳輸 | 20% | 延遲低於10ms、節點互聯 | ping、iperf3、NCCL數據 |
| 服務支援 | 20% | 2小時部署、4小時更換 | 測試工單、SLA條款 |
| 合規資安 | 20% | ISO 27001、資料落地 | 證書查驗、機房參觀 |
| 生態擴充 | 15% | 升級免搬遷、標準介面 | 合約條款、架構文件 |
給一個打分示範:A平台硬體5分、網路4分、服務3分、合規5分、生態3分,加權後4.1分;B平台硬體4分、網路4分、服務5分、合規4分、生態4分,加權後4.2分。硬體最強的沒有贏,因為權重反映的是「整體交付」而不是單點規格——這正是評分表存在的目的:防止採購被最亮眼的那顆數字帶走。
評分過程建議兩人以上獨立打分再對照,分數差距兩分以上的項目,回頭補證據重評——主觀印象就是這樣被擠出流程的。評完留下前兩名進入議價,第三名備而不用,議價時你的底氣會完全不同。
詢價領先的AI算力服務平台:必問的12個問題
寄信小技巧:主旨寫明需求規模與時程(例如「H100單卡×2,10月上線,請於一週內回覆」),附上你的用量描述與下面這12題,請對方逐題書面回覆。限定回覆格式不是刁難,是讓三家以上的答案能放進同一張評分表對照:
- GPU精確型號與形態?SXM還是PCIe?可否提供實機截圖?
- 共用方案的切割技術是MIG硬體隔離,還是軟體時間分片?
- 可否提供測試IP與短期實測環境跑benchmark?
- 標準環境部署時效多久?從簽約到可登入是幾小時?
- SLA可用率幾%?賠償是自動折抵還是申請制?
- 硬體故障的回應、判定、更換時效各多久?備品比例多少?
- 月租內含哪些項目?電費、頻寬、IP、備份是否另計?
- 機房ISO 27001證書可否提供?認證範圍涵蓋哪個機房?
- 資料清除依什麼標準執行?可否出具書面證明?
- 從MIG升級到單卡、叢集,資料要不要搬?有無違約金?
- 合約可否月約起步?自動續約與調價條款怎麼寫?
- 可否安排機房參觀,並提供同產業的客戶參考案例?
12題全部答得具體的供應商,在台灣市場其實不多;能把數字白紙黑字寫進合約的,才有資格進你的最終輪。AI實體主機的採購,問對問題比認識業務有用得多——把答案填進上面的評分表,選型這件事就從感覺題變成計算題。
GPU 主機常見問題 FAQ
AI算力平台的價格怎麼比較才公平?
換算成相同單位:包月費除以可用小時得到每小時單價,再加計流量費、儲存費與支援費。例如H100單卡月租NT$50,000約當每小時NT$69,對照隨需時租NT$120,使用率超過六成時包月明顯划算。
8卡H100叢集的租金行情是多少?
台灣行情月租約NT$350,000,內含電力、機房與基本頻寬;AWS p5.48xlarge隨需約US$98/小時,滿載一個月超過NT$210萬。長期訓練負載選實體叢集、偶發尖峰用雲端時租補,混合配置最省。
H100的SXM和PCIe版本差在哪?
SXM版:80GB HBM3、NVLink 900GB/s、功耗700W,多卡擴展效率高,適合訓練;PCIe版頻寬與功耗較低、價格也較低,適合推論與單卡應用。詢價時務必要求寫明形態,兩者多卡效能差距很大。
怎麼驗證平台有沒有超賣GPU?
三招:要求nvidia-smi與topo -m實機截圖;確認共用方案採MIG硬體隔離而非時間分片;申請實測期跑自己的benchmark,量p95延遲與吞吐並連測3天看穩定度。三項都配合的平台,超賣風險低。
NCCL all-reduce實測數據為什麼重要?
多卡訓練的通訊效率由節點內NVLink(900GB/s)與節點間網路決定,NCCL all-reduce頻寬直接反映擴展效率。8卡以上的訓練,通訊瓶頸可能讓實際算力打七折,採購前務必向平台索取實測值。
領先的AI算力服務平台和公有雲GPU怎麼選?
看負載型態:長期滿載選台灣實體平台,8卡月租NT$350,000、延遲低於10ms、台幣開發票;全球部署與突發彈性選公有雲。多數企業最後採混合:訓練與資料留在地,海外用戶的推論上雲。
評估AI伺服器解決方案要花多久時間?
照五構面框架約一到兩週:第1週發出12題詢價、收集證書與實測數據;第2週跑benchmark、機房參觀、完成加權評分表。比起拖兩三個月的開放式評估,更快也更不容易被簡報帶風向。
詢價時要提供供應商哪些需求資訊?
五項:模型規模與框架、預估併發量或訓練時長、資料量與成長速度、法遵要求(資料落地台灣、ISO 27001)、預算與合約偏好(月約或年約)。需求越具體,各家報價與架構建議才有可比性。
平台的承諾哪些一定要寫進合約?
五項必寫:99.9% SLA與自動折抵賠償、2小時部署時效、4小時硬體更換與備品比例、資料清除依NIST SP 800-88出具證明、升級免搬遷免違約金。沒寫進合約的簡報承諾,發生爭議時都不算數。
台灣的AI算力服務平台有什麼在地優勢?
延遲低於10ms、資料不出境符合個資法、中文工程師7×24支援、台幣計價開統一發票。以戰國策台北機房為例,2小時部署,H100方案從MIG月租NT$15,000到8卡叢集NT$350,000,升級階梯完整。
延伸閱讀
戰國策 GPU 主機:領先的 AI 算力服務平台
NVIDIA H100 GPU 主機(GPU Server)台灣機房直供:月租 NT$15,000 起、2 小時部署、99.9% SLA、24 小時中文支援。從 MIG 切割到 8 卡叢集,AI 訓練與推論的實體主機方案一次到位。