企業自建 LLM 完整教學:從硬體選型到上線部署

前言:2026 年企業導入 LLM 的 5 大理由

進入 2026 年,企業自建 LLM 已從實驗性專案,升級為 IT 與資安部門的戰略必修課。根據 IDC 調查,亞太區超過六成中大型企業正在評估或已完成內部 LLM 導入。為什麼越來越多公司捨棄純 API 呼叫、轉向自建?

資料主權:客戶名單、財報、研發原始碼不流出企業防火牆。
成本可控:高頻推論下,自建的邊際成本遠低於按 Token 計費。
模型客製:可用自家語料微調,產出符合品牌口吻與行業知識。
超低延遲:內網部署可達 100ms 內回應,遠優於跨海 API。
合規要求:金融、醫療、政府對境外資料流有嚴格法規限制。

自建 vs API 的商業決策框架

第一,月推論 Token 量。若企業每月推論量在 500 萬 Token 以下,直接呼叫 GPT-4o 或 Claude API 通常最划算,月費約新台幣 3 萬元內即可搞定。但當每月 Token 突破 5,000 萬甚至 5 億時,API 費用將飆升至數十萬元,這時自建 GPU 主機的攤提成本反而更低。

第二,資料敏感度。客戶個資、病歷、營業秘密、專利技術,一旦上傳雲端 API,即使供應商保證不留存,仍會面臨稽核、法遵與客戶信任的三重挑戰。這類場景,企業自建 LLM 幾乎是唯一合規解。

第三,回應延遲需求。跨海呼叫美國 API 動輒 800ms 起跳,而內網部署 vLLM 的 Llama 3 8B 可穩定在 200ms 內。

第四,模型客製深度。若只需通用問答,API 完全夠用;但要吃自家 20 萬份技術文件、依產業術語微調,自建才有 LoRA、QLoRA、Full Fine-Tune 的完整控制權。

硬體選型:模型大小 vs GPU 記憶體對照

LLM 硬體選型 的核心公式:顯存(VRAM)決定你能載入多大的模型。

模型參數量	FP16 推論所需 VRAM	INT8 量化	INT4 量化
7B / 8B	約 16 GB	約 10 GB	約 6 GB
13B	約 26 GB	約 15 GB	約 8 GB
34B	約 68 GB	約 38 GB	約 20 GB
70B	約 140 GB	約 75 GB	約 40 GB
405B	約 810 GB	約 420 GB	約 220 GB

GPU 卡選擇建議:

NVIDIA RTX 4090(24GB):適合 7B/8B 全精度推論、13B 量化,小型 POC 首選。
NVIDIA L40S(48GB):適合 13B 全精度、34B 量化,中型企業推論主力。
NVIDIA A100 80GB:適合 70B 量化推論,或 34B 微調工作。
NVIDIA H100 80GB:HBM3 頻寬 3.35TB/s,推論吞吐量約為 A100 兩倍。
NVIDIA H100 94G NVL:雙卡 NVLink 互聯,合計 188GB VRAM,可跑 Llama 3 70B FP16。

選型口訣:「模型參數 × 2 = 最低顯存需求(FP16)」,再乘以 1.3~1.5 倍作為 KV Cache 與批次處理緩衝。

戰國策集團 GPU 主機自 H100 月租 15,000 元起,若需雙卡高階配置,H100 94G NVL x2 客製月租 84,000 元。

Llama 3 8B / 70B 部署需要多少 GPU

Llama 3 8B(80 億參數)

推論部署:FP16 需 16GB VRAM,單張 RTX 4090(24GB)或 L40S(48GB)綽綽有餘。若採用 vLLM 的 PagedAttention,在 4090 上可支援 30~50 併發使用者,吞吐量約 2,000 tokens/sec。

微調(LoRA):單卡 A100 40GB 或雙卡 4090 即可完成 LoRA 微調,訓練 3 個 epoch 約需 6~12 小時。

Llama 3 70B(700 億參數)

推論部署:FP16 需 140GB,實務建議 H100 80GB × 2 走張量並行(Tensor Parallelism),或 H100 94G NVL × 2 提供 188GB VRAM,可支援 8K Context Length 與 20 併發。

微調(全參數):需 8 張 H100 80GB 集群 + DeepSpeed ZeRO-3 才能完成 Full Fine-Tune。LoRA 微調則 4 張 H100 即可。

吞吐量參考(vLLM + H100 80GB × 2 部署 Llama 3 70B FP16):首 Token 延遲約 250ms、持續輸出速度約 45 tokens/sec/user、併發 20 使用者時總吞吐量約 800 tokens/sec。

訓練 vs 微調 vs 推論的硬體差異

從頭訓練(Pre-training)

從零開始訓練一個 70B 模型,需要數千張 H100 組成集群,訓練時間以「月」為單位,成本動輒數千萬美元。99% 的企業不需要從頭訓練。

微調(Fine-tuning)

LoRA / QLoRA:僅訓練低秩適配矩陣,7B 單卡 24GB 即可,70B 用 4 張 H100 足矣。
全參數微調:需搭配 DeepSpeed ZeRO-3 或 FSDP,70B 至少 8 張 H100 80GB。
繼續預訓練:成本介於全微調與從頭訓練之間。

推論(Inference)

重視 QPS 吞吐量與 P99 延遲,而非 FLOPS。顯存頻寬 > 算力:H100 HBM3 的 3.35TB/s 頻寬是推論吞吐關鍵。需要 vLLM、TGI、TensorRT-LLM 等推理引擎優化。KV Cache 佔用大量顯存,長 Context 場景要預留 30~50% VRAM 給 Cache。

戰國策集團的 GPU 主機皆 預裝 vLLM / TGI / DeepSpeed 三大主流框架,開機即可上線推理。

部署架構:單機 vs 分散式 vs 混合

單機部署

架構:1 台伺服器搭載 1~8 張 GPU,vLLM 直接載入模型。
適用:8B~13B 模型、日活躍使用者 200 人以下、POC 或內部工具。
建議配置:H100 80GB × 1,月租 15,000 元起,可承接 100+ 併發的 Llama 3 8B 推論。

分散式部署

架構:多台伺服器透過 Ray、vLLM Cluster、NCCL 組成集群。
適用:70B 以上大模型、日活躍上千人、企業級對外服務。
建議配置:H100 94G NVL x2(客製 84,000 元/月)× N 節點。

混合部署

架構:自建 GPU 主機跑核心/敏感任務,尖峰時流量溢出至公有雲 API 或第三方 LLM 服務。
關鍵設計:LLM Gateway 統一路由,例如 LiteLLM、Portkey、自建 Router。

高可用性(HA)設計原則

雙活或主備節點:單張 GPU 故障不應中斷服務。
模型熱備份:分開儲存 checkpoint,快速重載。
健康檢查:每 30 秒探測 /health 端點。
自動擴縮:基於 QPS 或 GPU utilization 觸發。

戰國策集團機房位於台北,採 Tier III 等級,提供 99.9% SLA、雙路電源、獨立空調與 24 小時人員值班。

上線後的維運監控

三大監控維度

1. 系統層監控:GPU 使用率、VRAM 用量、GPU 溫度、節點 CPU、記憶體、磁碟 I/O、網路頻寬與延遲。工具推薦:Prometheus + Grafana + DCGM Exporter。

2. 服務層監控:QPS、P50/P95/P99 延遲、TTFT(Time to First Token)、TPOT(Time Per Output Token)、併發數與佇列長度。

3. 品質層監控:使用者滿意度、Prompt/Response 內容審核、Hallucination Rate、Faithfulness Score。

告警與 SLO 設定

P99 延遲超過 3 秒,立即告警。
GPU 記憶體使用率超過 95%,擴容告警。
HTTP 5xx 錯誤率超過 1%,值班通知。

模型版本管理與回滾

使用 MLflow 或 Weights & Biases 管理 checkpoint。
每次上線走灰度發布:5% → 25% → 100%。
保留至少三個歷史版本,可 5 分鐘內回滾。

資安與合規:個資法 + 資料流

個人資料保護法(PDPA)要求

蒐集告知:若接收使用者對話,須在介面明示蒐集目的、期間、範圍。
當事人權利:提供查詢、更正、刪除機制。
境外傳輸:若模型或資料流出境須經主管機關同意,這是自建的最大優勢。
保存期限:對話紀錄不應長期留存,建議 30~90 天內清除。

資料流四道防線

輸入過濾:阻擋 Prompt Injection、有害內容,身分證字號自動遮罩。
傳輸加密:TLS 1.3、內部服務使用 mTLS。
儲存加密:模型權重、向量資料庫、對話 log 皆採 AES-256 靜態加密。
輸出審核:回應前檢查是否含機密資訊。

戰國策集團 GPU 主機環境通過 ISO 27001 稽核,並提供簽署 NDA、資料處理協議(DPA)。

戰國策集團企業 LLM 一站式方案

深耕 IT 服務 26 年,累積 30,000 家以上企業客戶 信賴:

GPU 主機月租:H100 月租 15,000 元起,H100 94G NVL x2 客製配置 84,000 元/月
開箱即用軟體堆疊:所有 GPU 主機皆 預裝 vLLM、TGI、DeepSpeed 三大主流推論/訓練框架
Llama 3 部署顧問:含硬體選型、量化調校、vLLM 併發優化、Prompt 工程協助
維運監控:Prometheus + Grafana 儀表板一鍵開通,24 小時 NOC 值班
合規支援:ISO 27001 機房、DPA/NDA 簽署、協助通過金管會/衛福部審查
企業級 SLA:99.9% 可用度、專屬技術窗口、緊急事件 30 分鐘內回應

常見問題

Q1:自建 LLM 至少要準備多少預算?

以最小可行方案計算,Llama 3 8B 單機 H100 部署,月租 15,000 元起,首月約 3 萬元內可上線。70B 生產級部署則建議準備每月 10~20 萬元預算。

Q2:自建的 LLM 需要多久才能上線?

若採用開源模型(如 Llama 3)+ vLLM 直接部署,從下訂到內部測試通常 5~10 個工作天。加入 RAG 知識庫、Prompt 工程與微調則需額外 2~6 週。

Q3:模型更新頻繁,自建會不會很快就過時?

不會。硬體(GPU)本身可用 3~5 年,只需更換模型權重即可跟上新版本。從 Llama 3 到 Llama 3.1、Llama 4,同一台 H100 主機皆可運行。

立即行動:啟動您的企業自建 LLM 旅程

企業自建 LLM 不再是科技巨頭的專利。立即撥打 0800-003-191,或線上洽詢戰國策集團 AI 算力顧問團隊,免費取得您的專屬 LLM 部署可行性評估報告。

線上諮詢:https://www.nss.com.tw/gpu/ · LINE @119m