台灣 AI 新創如何用 H100 打造自己的 LLM?從 0 到 1 完整教學

2026 年,大型語言模型(LLM)已不再是矽谷巨頭的專利。當 OpenAI API 每月帳單動輒破十萬新台幣,當客戶開始質疑資料是否被送出境外,當金融、醫療、法律產業客戶明確要求「資料不得離境」,台灣 AI 新創才驚覺——自建 LLM 不是奢侈品,而是進入企業市場的必要門票。

自建 LLM 的商業邏輯:成本、資料主權與差異化

第一,成本結構會反轉。 當月呼叫量突破 500 萬 tokens,GPT-4o 的月費會逼近 15 萬到 30 萬新台幣。這筆錢租一張 H100,不但用不完,還能把模型微調到專屬於你的資料集,單位推論成本可以壓到 API 呼叫的十分之一以下。

第二,資料主權是台灣企業客戶的核心關切。 金管會 2025 年更新的個資規範、醫療機構的病歷合規、法律事務所的案件保密,任何一個都可能讓「資料送到美國」變成不可接受的條件。將 H100 訓練 LLM 放在台灣機房、資料留在台灣、無跨境合規疑慮,對於要拿下這些客戶的新創來說,是必要條件。

第三,差異化來自你的資料而非模型。 通用模型人人可用,真正的護城河是你自家累積的產業語料——法規判例、SOP、客服對話、產品文件。這些資料餵到通用模型上做 LoRA 微調,才會長出「別人做不出來的答案」。

第四,推論延遲決定使用者體驗。 自建模型佈署在台灣機房,延遲可以壓到 50ms 以內,而跨海呼叫 OpenAI 通常要 300ms 起跳。對於即時語音客服、遊戲 NPC 對話,這個差距就是生與死。

選對 base model:Llama 3、Qwen 與 Mistral

Llama 3.1 / 3.3(Meta) 是 2026 年最主流的西方基底,授權寬鬆(月活 7 億以下皆可商用)、社群工具鏈最完整。缺點是原生中文能力比 Qwen 弱一截。

Qwen 2.5 / Qwen 3(阿里巴巴) 是中文任務的當家花旦,原生中英雙語、7B 到 72B 各種尺寸齊全。缺點是——來自中國廠商,對於台灣 AI 新創,面向政府、金融、國防客戶時,採用 Qwen 可能引發資安審核疑慮。

Mistral / Mixtral(法國) 走 MoE 路線,推論效率極高。中文能力次於 Qwen,但比原生 Llama 好,政治風險最低。

選型建議:面向中文垂直產業客戶 → Qwen 2.5;面向政府、金融、國防 → Llama 3.3 + 中文繼續預訓練;面向多語系 SaaS → Mixtral。 尺寸方面,新創第一顆自研模型建議從 7B~14B 開始:單張 H100 就能微調、推論成本可控、任務品質已能覆蓋 80% 商業場景。

準備訓練資料:格式、清洗與驗證

格式標準化。 主流微調格式是 ShareGPT 或 Alpaca。ShareGPT 適合多輪對話;Alpaca 則是單輪指令。

資料清洗四大步驟:

去重(Deduplication):用 MinHash 或 SimHash 過濾重複度 90% 以上的樣本。
去毒(Toxicity Filtering):用 Perspective API 或開源的 Detoxify 打分。
PII 遮罩:身分證、手機、地址、信用卡等個資必須用正則加 NER 雙重過濾。
品質篩選:短於 10 個 token、長於模型 context 上限、亂碼比例高於 5% 的樣本一律過濾。

資料量參考值:LoRA 微調 1,000 ~ 5,000 筆;Full Fine-tuning 20,000 ~ 100,000 筆;繼續預訓練 10 億 tokens 起跳。

中文語料的坑: 繁體與簡體混雜、全形半形不一致、標點符號中英混用,這三個問題會直接讓模型輸出「四不像」的中文。訓練前用 OpenCC 統一字型、jieba 檢查斷詞、regex 統一標點,是台灣 AI 新創必做的前處理。

硬體需求:從 MIG 切片到 8 卡叢集

H100 訓練 LLM 到底需要多少張卡?答案取決於三件事:模型大小、訓練方法、時間預算。

MIG(Multi-Instance GPU)—適合 7B 以下 LoRA。 7B 模型跑 LoRA 只需要約 20GB 顯存,用 MIG 切出的 20GB instance 就綽綽有餘。這是戰國策集團推出的入門方案——H100 月租 15,000 起,新創原型驗證階段用這個組合最划算。

單卡 H100 80GB——7B~14B Full Fine-tuning 或 32B LoRA。

雙卡 H100 NVL 94GB——32B~70B 微調的甜蜜點。 戰國策集團的「94G NVL x2 客製 84,000/月」方案,就是專為要挑戰 70B 級模型的新創設計。

4 卡 ~ 8 卡叢集——70B Full Fine-tuning 或繼續預訓練。

記憶體估算公式: 訓練所需 VRAM ≈ 模型參數 × 20(bf16 Full FT) / × 6(LoRA) / × 2(QLoRA)。

實際訓練流程:LoRA 微調七步走

以下是台灣 AI 新創最常用的 LoRA 微調實戰流程,以 Qwen 2.5-7B 為例,單張 H100 可執行。

Step 1:環境準備


conda create -n llm python=3.11
pip install torch==2.4.0 transformers==4.45 peft==0.13 \
            trl==0.11 accelerate==1.0 bitsandbytes==0.44

Step 2:載入模型與 tokenizer(4-bit 量化):


from transformers import AutoModelForCausalLM, BitsAndBytesConfig
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype="bfloat16")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    quantization_config=bnb, device_map="auto")

Step 3:注入 LoRA adapter


from peft import LoraConfig, get_peft_model
lora = LoraConfig(r=16, lora_alpha=32, lora_dropout=0.05,
    target_modules=["q_proj","k_proj","v_proj","o_proj",
                    "gate_proj","up_proj","down_proj"],
    bias="none", task_type="CAUSAL_LM")
model = get_peft_model(model, lora)

Step 4:設定訓練超參數。 learning_rate 2e-4、num_train_epochs 3、per_device_train_batch_size 4、warmup_ratio 0.03、cosine scheduler、max_seq_length 2048。

Step 5:啟動訓練。 使用 TRL 的 SFTTrainer 一行搞定。7B 模型、5,000 筆資料、3 epochs,單張 H100 大約 4~6 小時完成。

Step 6:合併 adapter 並儲存。 model.merge_and_unload() 之後 save_pretrained("./my-llm-v1")。

Step 7:評估。 跑 MT-Bench-TC 或自製的 100 題 golden set。

踩坑提醒: OOM 最常見的原因不是模型太大,而是 max_seq_length 開太長。

部署與推論最佳化:vLLM vs TGI

vLLM 是 2026 年的首選。 核心創新是 PagedAttention——把 KV cache 分頁管理,GPU 利用率可以從 30% 拉到 80% 以上。7B 模型在單張 H100 上,vLLM 可以撐 1,500 tokens/sec 的總吞吐,同時服務 100 個並發使用者。啟動指令一行:


vllm serve ./my-llm-v1 --tensor-parallel-size 1 \
     --max-model-len 4096 --gpu-memory-utilization 0.9

TGI 是 Hugging Face 出品的另一選擇。 穩定性與監控介面更成熟,適合企業 IT 團隊接手維運。

量化壓縮成本。 把 bf16 模型量化成 AWQ 或 GPTQ 的 4-bit,顯存需求砍半、吞吐提升 30%,品質損失通常在 1% 以內。

推論成本試算: Qwen-7B 量化版 + vLLM + 單張 H100,每 100 萬 tokens 產出成本約 15 元新台幣,是 GPT-4o mini 的 1/10。若用戰國策集團的 H100 月租 15,000 起方案,每月能產出約 10 億 tokens。

戰國策集團新創方案:3 年內公司專屬折扣

戰國策集團 26 年深耕台灣網路基礎建設,是最理解台灣新創痛點的服務商。針對自建 LLM 需求,我們設計了三段式方案:

入門原型:H100 月租 15,000 起——MIG 20GB instance,適合 7B 以下 LoRA 微調與量化推論。
成長期主力:單卡 H100 80GB——月租 25,000,可 Full FT 7B、微調 13B、量化跑 32B 推論。
旗艦方案:94G NVL x2 客製 84,000/月——兩張 NVLink 直連,總顯存 188GB,足以挑戰 70B QLoRA 或 32B Full FT。

成立 3 年內公司額外享有專屬折扣,並贈送首月技術諮詢、台灣機房專屬 VLAN、24 小時 GPU 監控告警。所有資源皆架設於台灣自有機房,權重、資料、日誌全數留在台灣,無跨境合規疑慮。

常見問題

Q1:我完全沒有 ML 背景,可以從零開始自建 LLM 嗎?

可以,但建議把「訓練」與「應用」分階段。第一階段用開源模型 + LoRA 微調,依照本文步驟三個月內能跑通。戰國策集團提供首月技術諮詢,協助新創評估技術路線。

Q2:資料量不夠(只有幾百筆)也能微調嗎?

500 筆以下建議走 few-shot prompting + RAG,不要硬做微調;1,000~5,000 筆適合 LoRA 做風格對齊;超過 10,000 筆才適合完整領域適應。

Q3:模型訓練完成後,如何確保客戶資料不外洩?

自建 LLM 的最大優勢就是資料留在台灣、權重可以完全離線推論。戰國策方案支援專屬 VLAN、私有 API endpoint、日誌不出機房。

立即啟動你的自建 LLM 計畫

想讓你的 AI 新創跨過自建 LLM 的門檻嗎?從模型選型、資料準備到 H100 硬體配置,戰國策集團都能陪你走完全程。

免付費專線:0800-003-191
LINE 官方帳號:@119m
線上諮詢:https://www.nss.com.tw/gpu/