「地端AI」是這一兩年台灣中小企業最常掛在嘴邊的需求語言之一,但問十個人,可能有十種不同的理解——有人以為是要自己買一台超級電腦擺在辦公室,有人以為是跟雲端 AI 完全對立的東西。這篇把「地端AI」這個詞講清楚,包含常見的地端AI模型有哪些,以及一個多數人沒想過的重點:選擇地端AI,不代表你一定要自己買硬體。
先講結論:地端AI指的是把 AI 模型部署在企業自己掌控的環境裡執行,核心價值是資料不出門;但「自己掌控環境」跟「自己擁有硬體」是兩件事——透過租用 GPU 主機來架設地端AI環境,一樣能達到資料隔離的效果,不需要自購昂貴的硬體。
地端AI到底是什麼
「地端」對應的英文概念是 on-premise(地端部署)或 local(本地),地端AI指的是把 AI 模型的運算(不論是推論還是訓練)放在企業自己管控的環境裡執行,而不是透過網路呼叫 OpenAI、Google 這類公有雲 AI 服務的 API。跟地端AI相對的概念是「雲端AI」或「AI API 服務」——你不管底層硬體,直接呼叫現成的模型介面,資料會經過對方的伺服器處理。
地端AI最核心的價值主張是資料不出門。企業的內部文件、客戶資料、專有技術資料,如果透過公有 API 傳送出去,即使供應商承諾不會用來訓練模型,資料還是實際離開了公司的控制範圍。對金融、醫療、法律這類高度重視資料機密性的產業,或是有明確法規要求資料不得出境的組織,地端AI幾乎是必要的選項,不是加分項。
地端AI有哪些:常見的可地端部署模型
並不是所有 AI 模型都能地端部署——像 ChatGPT、Claude 這類模型,原廠不對外釋出模型權重,只能透過 API 呼叫,無法架在自己的機器上。真正能地端部署的,是開放權重(open-weight)模型,也就是原廠把訓練好的模型檔案公開釋出,任何人都可以下載到自己的硬體上執行。目前市場上主流的開放權重模型家族包括:
- Llama 系列(Meta)——参数規模從幾十億到數千億都有,是最廣泛被採用的開放權重模型之一
- DeepSeek 系列——來自中國團隊,在推理與程式碼能力上表現突出,且提供多種參數規模版本
- Qwen 系列(阿里巴巴)——多語言支援完整,中文處理能力受到廣泛肯定
- Mistral 系列——歐洲團隊開發,以效率與授權彈性著稱
這些模型依參數規模不同,對硬體的需求差異很大——幾十億參數的小模型,消費級顯卡就能跑;上百億甚至上千億參數的大模型,則需要資料中心等級的 GPU,甚至多卡組合才跑得動。
地端AI最大的迷思:以為一定要自己買硬體
這是多數企業評估地端AI時最容易卡住的地方。「地端」講的是資料處理的位置與控制權,不是「硬體的所有權」。企業可以透過租用 GPU 主機,把開放權重模型部署在租來的獨立主機上——只要是獨佔式的實體主機(而不是跟其他租戶共用的虛擬化資源),資料一樣完全在你控制的環境裡處理，不會被主機服務商存取,效果等同於自己買硬體架設,但不需要承擔數十萬到數百萬元的硬體採購成本與後續維護責任。
地端AI三種取得方式比較
| 方式 | 初期成本 | 資料控制權 | 維護責任 |
|---|---|---|---|
| 自購硬體自建機房 | 極高(數十萬至數百萬) | 完全掌控 | 企業自行負責 |
| 租用獨佔 GPU 主機 | 低(月租數萬元起) | 完全掌控 | 機房業者協助,企業管理軟體層 |
| 公有雲 AI API | 依用量計費,無硬體成本 | 資料經第三方處理 | 服務商全權負責 |
地端AI不是全有全無的選擇,混合架構更常見
實務上,多數企業導入地端AI,不會把所有 AI 應用一次性搬到地端環境,而是採取混合架構:機密性高、涉及客戶資料或內部核心知識的應用(例如內部知識庫問答、客戶資料分析),放在地端環境處理;一般性、不涉及敏感資料的應用(例如公開資訊摘要、行銷文案發想),繼續使用雲端 AI 服務即可,不需要為此額外部署地端資源。這種混合做法能讓企業把有限的算力預算,集中投資在真正需要資料隔離的關鍵應用上,而不是為了原則性地「全面地端化」而付出不成比例的成本。
什麼樣的企業真的需要地端AI
不是每家公司都需要地端AI。如果貴公司使用 AI 的場景是內部行政文書、一般行銷內容生成,資料本身沒有高度機密性,直接使用雲端 AI 服務通常更划算、更省事,不需要多繞一手部署地端環境。但如果符合以下任一情況,地端AI就值得認真評估:處理客戶個資或病歷等受法規保護的敏感資料、內部有明確要求資料不得傳輸至第三方伺服器的資安政策、需要客製化微調模型以符合特定領域知識(而微調過程本身也需要把訓練資料餵給模型)、或所處產業有資料在地化的法規要求。
地端AI模型怎麼選:參數規模與硬體需求的對應關係
選擇地端AI模型時,參數規模(通常以 B 為單位,代表十億參數)是決定硬體需求的關鍵指標。概略的對應關係是:7B 到 13B 等級的模型,單張資料中心級 GPU(例如 H100 80GB)通常足以應付推論甚至輕量微調;70B 等級的模型,推論需要雙卡以上,全參數微調則需要四卡以上的規模;更大規模的模型(數百B等級),則需要八卡叢集甚至多節點架構。企業評估地端AI專案時,建議先確認要用的模型參數規模,再回推需要的 GPU 配置,而不是先決定硬體規格再回頭找「跑得動」的模型——這個順序反過來,常常導致規格買太大或不夠用兩種極端。
啟動地端AI專案,四個先後順序
決定要做地端AI之後,建議按這個順序推進,能減少走冤枉路的機會:第一步盤點資料敏感度,列出哪些應用場景真的需要資料不出門,不要一開始就想著全面地端化;第二步依應用選模型,根據任務類型(對話、程式碼生成、文件摘要等)與需要的語言能力,從開放權重模型裡挑選合適的參數規模;第三步回推硬體需求,依模型參數規模對照需要的 GPU 配置,評估自購還是租用划算;第四步小規模驗證再擴大,先用最小可行的硬體規格跑通整套流程,確認效果符合預期後,再依實際用量逐步擴充規模。跳過前面幾步、直接從硬體採購開始規劃,是多數地端AI專案卡關或超支的主要原因。
常見問題
地端AI一定要自己買伺服器嗎?
不一定。地端AI的核心是資料在企業自己控制的環境裡處理,透過租用獨佔式的 GPU 主機一樣能達到這個效果,不需要自購硬體,可以大幅降低初期投入成本與維護負擔。
地端AI有哪些常見的模型可以用?
主流的開放權重模型家族包括 Llama(Meta)、DeepSeek、Qwen(阿里巴巴)、Mistral 等,依參數規模不同對硬體需求也不同,企業可以依實際用途與可用的硬體資源挑選合適的版本。
地端AI模型的能力會不會比 ChatGPT、Claude 這類雲端模型差?
頂尖的開放權重模型在特定任務上已經能接近甚至部分超越封閉模型的表現,但整體通用能力上,目前多數開放權重模型仍與最頂尖的封閉模型有一定差距。企業評估時應該針對自己實際的應用場景測試,而不是只看公開的評測排行榜分數。
地端AI適合所有企業嗎?
不是。如果貴公司處理的資料沒有高度機密性,直接使用雲端 AI 服務通常更簡單、更省成本。地端AI真正的價值在資料敏感、法規要求資料在地化,或需要深度客製化的場景。
租用 GPU 主機架設地端AI,跟自建比起來省多少錢?
以八卡 H100 規模為例,自購攤提三年的每月成本約 NT$40 到 55 萬(含電力託管),而租用同等規模的月租約 NT$35 萬,租用方案更低,且不需要一次性投入數百萬的硬體採購資金與 8 到 12 週的交期,適合大多數還在驗證階段或用量會隨時間變化的企業。多數地端AI專案初期用不到八卡規模,實際成本落差通常更明顯——例如只需要單卡或雙卡規格時,租用的資金門檻降到每月數萬到十萬元級距,自購的相對優勢會更小。
延伸閱讀
戰國策 GPU 主機・戰國策 AI 伺服器
不用自購硬體也能架設地端AI:NVIDIA H100 獨佔式 GPU 主機台灣機房直供,資料完全在您控制的環境裡處理,MIG 切分卡月租 NT$15,000 起,2 小時部署、99.9% SLA。