RAG 系統要用什麼 GPU?H100 建置 vs OpenAI API 成本比較

近年企業導入 AI 的浪潮中,RAG(Retrieval-Augmented Generation,檢索增強生成)已成為最務實的落地方案。從法律事務所建置判例查詢、醫院打造臨床決策輔助,到中小企業導入客服知識庫,RAG 讓 LLM 能夠回答企業自身的專有問題。但當老闆問 IT 部門「這套系統要多少錢?」的時候,問題就複雜了。

RAG 的技術原理與 GPU 需求

RAG 系統本質上是「檢索」加「生成」兩階段流程。第一階段,系統將使用者的問題轉成向量(embedding),到向量資料庫中搜尋語意相近的文件片段;第二階段,將這些相關片段連同原問題送入大型語言模型,由 LLM 綜合資料後生成回答。

要跑得動一個生產級的 RAG 系統,通常需要三種模型協同運作:embedding 模型負責將文字轉向量、reranker 模型負責重新排序檢索結果的相關性、generator 模型負責最終生成回答。

真正的成本殺手是 generator LLM。以 Llama 3.1 70B 為例,若採用 FP16 精度部署,單模型就需要約 140GB VRAM,即使量化到 INT8 也要 70GB 以上,一張 H100 80G 都吃緊。

這也是為什麼 RAG GPU 選型上,H100 94GB NVL 版本會成為企業級 RAG 部署的甜蜜點。94GB 的大容量 VRAM 讓 70B 級模型可以在單卡上完整運行;若採雙卡 NVL 架構,更可支援 Llama 3.1 405B 或 DeepSeek-V3 這類頂尖模型的高效推論。

Embedding 模型選擇(BGE/E5/GTE)與硬體

BGE-M3 是目前中文企業導入最愛的選項,支援多語言、多粒度、混合檢索,對繁體中文語義理解能力強。BGE-M3 模型大小約 2.3GB,單卡 RTX 4090 就能跑得順暢。

E5-Large-v2 屬於通用多語言 embedding 模型,英文表現優於中文。GTE-Large 則在檢索精度上表現優異,尤其在長文件處理場景。

硬體配置建議上,若企業文件庫在 100 萬筆以下、預期並發使用者不超過 200 人,單張 RTX 4090 或 L40S 已足夠;若文件量突破千萬筆或需要即時索引更新,則建議配置 A100 40GB 以上的專屬 embedding server。戰國策集團提供的 GPU 主機租用方案,月租最低 15,000 元起就能取得專屬 GPU 資源。

Vector Store(Milvus/Qdrant/Weaviate)硬體要求

Milvus 由 Zilliz 開發,水平擴展能力最強,適合億級以上向量規模。硬體上建議至少 3 節點起跳,每節點 64GB RAM、16 核 CPU、1TB NVMe SSD。

Qdrant 是 Rust 開發的高效能向量庫,單機表現優異、運維簡單,是中小型 RAG 系統首選。千萬級向量規模下,單機 32GB RAM、8 核 CPU、512GB NVMe 就能提供毫秒級查詢延遲。

Weaviate 主打模組化架構,內建多種向量模型整合,適合快速原型開發。

實務上,向量資料庫的效能瓶頸主要在 RAM 與 SSD I/O,而非 GPU。戰國策集團的 RAG 主機 方案標配大容量 DDR5 記憶體與企業級 NVMe SSD。

Reranker / Generator LLM 硬體需求

Reranker 的角色是「二次過濾」。主流的 BGE-Reranker-v2-M3 模型參數約 568M,單張 24GB 顯示卡就能高並發運行。

Generator LLM 才是真正的「吃卡怪獸」:

• Llama 3.1 8B FP16:需 16GB VRAM,單張 RTX 4090 可跑
• Llama 3.1 70B INT8:需 70GB VRAM,單張 H100 80G 剛好
• Llama 3.1 70B FP16:需 140GB VRAM,H100 94GB NVL 雙卡是最佳解
• DeepSeek-V3 671B(MoE):需 4 張 H100 以上
• Qwen 2.5 72B:繁體中文表現優異,VRAM 需求類似 Llama 70B

戰國策集團針對 OpenAI vs 自建 LLM 決策提供諮詢服務,並提供 H100 94G NVL x2 客製化主機租用方案,月租 84,000 元,可完整支援 70B 級模型的 FP16 高精度推論。

OpenAI API 費用試算(每 1000 用戶 / 月)

假設情境:1000 名活躍使用者,每人每月平均提問 30 次,每次對話上下文含檢索片段約 4000 tokens 輸入、500 tokens 輸出。

GPT-4o 定價(2026 年):Input 每百萬 tokens 約 5 美元,Output 每百萬 tokens 約 15 美元。

每月總 tokens:輸入 1000 人 × 30 次 × 4000 = 1.2 億 tokens;輸出 1000 人 × 30 次 × 500 = 1500 萬 tokens。

每月 API 費用:輸入成本 120 × 5 = 600 美元;輸出成本 15 × 15 = 225 美元;合計約 825 美元,折合台幣約 26,400 元。

看起來似乎不貴?但當你擴展到 5000 用戶,費用就跳到 13.2 萬台幣/月;10000 用戶則是 26.4 萬台幣/月。

更棘手的是,OpenAI API 有速率限制,企業級用量常常要申請 Tier 5 才夠用。內部機密資料傳到境外雲端也違反許多產業的資安規範,金融、醫療、政府單位幾乎不可能採用 API 路線。

自建 RAG on H100 費用試算

硬體配置建議:1 台 H100 94GB NVL x2 主機(跑 Llama 3.1 70B FP16 generator)、1 台 L40S 主機(跑 embedding 與 reranker)、1 台高記憶體主機(跑 Qdrant 向量庫)。

月租成本試算:H100 94G NVL x2 主機 84,000 元/月;L40S GPU 主機約 25,000 元/月;高階運算主機約 12,000 元/月;合計約 121,000 元/月。

但關鍵在於:自建的成本是「固定成本」,無論使用者是 1000 人還是 10000 人,只要沒有超出硬體吞吐上限,月租就是那個數字。

以 H100 94G NVL x2 跑 Llama 3.1 70B FP16 為例,實測 throughput 約每秒 60-100 tokens,單卡日產能可達 5-8 億 tokens。這意味著單一主機可穩定支援 5000 到 10000 名活躍使用者的 RAG 需求。

損益平衡點分析

• 1000 用戶:OpenAI API 約 2.6 萬/月,自建 12.1 萬/月,API 大勝
• 3000 用戶:OpenAI API 約 7.9 萬/月,自建 12.1 萬/月,API 領先
• 5000 用戶:OpenAI API 約 13.2 萬/月,自建 12.1 萬/月,自建開始占優
• 8000 用戶:OpenAI API 約 21.1 萬/月,自建 12.1 萬/月,自建省 43%
• 10000 用戶:OpenAI API 約 26.4 萬/月,自建 12.1 萬/月,自建省 54%

結論:損益平衡點約在 4500 到 5000 名活躍使用者。超過這個規模,自建 RAG 主機的邊際成本優勢會急速擴大。若考量三年折舊,自建方案的 TCO 相較 OpenAI API 可省下 40% 到 70%。

對金融業、醫療業、政府單位、法律事務所而言,即使用戶數不到 1000,自建也是唯一合理選項,因為 API 路線根本不合規。

戰國策集團 RAG 系統推薦配置

輕量方案(月租 15,000 元起):單張 H100 或 L40S GPU 主機,適合 500 用戶以下的中小企業客服 RAG、內部知識庫、技術文件查詢。可跑 Llama 3.1 8B、Qwen 2.5 14B 等中小型模型。

專業方案(月租 45,000 元起):H100 80G 單卡搭配專屬向量庫主機,支援 Llama 3.1 70B INT8 部署,適合 1000 到 3000 名使用者的中型企業。

旗艦方案(月租 84,000 元):H100 94G NVL x2 客製化主機,可跑 Llama 3.1 70B FP16 或 DeepSeek-V3 大型 MoE 模型,支援 5000 人以上高並發場景,金融、醫療、法律業首選。

所有方案均包含 24 小時監控、資料備援、DDoS 防護與專屬工程師諮詢。

常見問題

Q1:自建 RAG 是不是一定要買 H100?能不能用 4090 湊合?

視應用規模而定。若只是內部 demo 或 100 人以下試點,RTX 4090 24GB 可跑 7B 模型,勉強夠用。但商用場景至少需 H100。

Q2:租用 GPU 主機和自己買機器擺公司哪個划算?

純財務比,自購三年攤提可能省 20%。但要加上機房電費、冷卻、專業運維人力,總成本反而更高。租用還可隨時升級硬體。

Q3:RAG 主機建置後,模型可以自己 fine-tune 嗎?

當然可以,這正是自建相較 OpenAI API 的核心優勢。戰國策 H100 主機支援 LoRA、QLoRA、full fine-tune 各種微調方式。

立即諮詢 RAG 主機方案

RAG 系統 是企業 AI 落地的黃金起點,但選對硬體才能兼顧成本與效能。戰國策集團 26 年主機服務經驗,搭配 H100 94G NVL 頂級配置,提供從月租 15,000 元起的彈性方案。

免付費專線:0800-003-191 · LINE @119m · https://www.nss.com.tw/gpu/