大專院校 AI 研究算力怎麼解?自購 vs 租用 GPU 的經費效益分析

七月的核定通知寄到信箱,北部某大學資工系的教授盯著清單上的設備費額度,心裡盤算的不是要買哪一張卡,而是三年後這台機器還值多少錢、學生畢業後誰來管它。這幾乎是每一位投入 AI 研究的計畫主持人都躲不掉的課題:算力要用買的,還是用租的?這個問題沒有放諸四海皆準的答案,卻有一套清楚的計算框架——VRAM 需求、利用率、電費、折舊、經費科目,一項一項攤開來算,答案自然會浮現。本文以資深顧問的視角把這筆帳完整算一遍,並附上一份三年總持有成本(TCO)試算,供大專院校科學研究團隊在編列與執行計畫經費時參考。

AI 研究要多少算力?先看 VRAM,再談卡數

許多採購決策的第一個錯誤,是把算力簡化成卡的張數或每秒浮點運算次數。對 AI 研究而言,第一道門檻其實是 VRAM:它決定模型「放不放得進去」,算力才決定「跑得快不快」。訓練與推論的記憶體需求天差地遠——推論只需容納模型權重與少量啟動值,訓練卻要同時保存權重、梯度與最佳化器狀態,記憶體需求往往是推論的三到四倍以上。不少實驗室買卡時只算了推論的帳,開訓第一天就爆記憶體,這種故事每年都在校園裡上演。

具體門檻可以抓幾個錨點:7B 參數等級的語言模型,若採用 LoRA、QLoRA 這類參數高效微調方法,單張 24GB 的 RTX 4090 就能動工;13B 模型搭配 4-bit 量化也勉強可行,只是批次大小與序列長度會被壓縮。一旦要做全參數微調,7B 模型就需要 80GB 等級的 H100 或 A100,13B 以上動輒兩卡、四卡起跳,還得靠 NVLink 或高速網路把多卡串成一體。視覺大模型與擴散模型同理:研究原型可以在 24GB 上跑小解析度實驗,要重現論文等級的完整訓練排程,80GB 與多卡幾乎是標配。

換句話說,一間實驗室的算力需求天生是「兩層結構」:日常開發、除錯、小規模消融實驗,吃的是 24GB 級的卡;衝刺期的完整訓練與大模型微調,吃的是 80GB 級的多卡資源。把兩層需求硬塞進同一筆採購,正是經費浪費最常見的源頭。此外別忘了儲存與資料管線:大型資料集動輒數 TB,訓練節點與儲存之間的頻寬,常比多買一張卡更影響整體效率。至於多卡平行與分散式訓練背後的原理與規劃方法,可以參考這篇 HPC 高效能運算入門指南。

自購的真實成本:發票金額只是頭期款

自購的帳,遠不止硬體報價單上的數字。一台 4 卡伺服器從下單那一刻起,至少還有五筆成本默默起跳。

• 電力與散熱:4 卡伺服器滿載功耗約 2.5 到 3kW,加上空調負擔,實際耗電接近功耗的 1.5 到 1.8 倍。以台灣工業電價每度約 NT$3 到 4 元計、夏季費率更高,一台機器以五成負載全年運轉,電費加空調一年約 NT$6 萬到 8 萬。
• 機房條件:穩定供電、UPS、獨立空調與門禁缺一不可。許多系所機房由舊教室改建,夏季冷房能力不足,GPU 過熱降頻甚至跳機時有所聞,停機維修期間研究進度直接歸零。
• 維運人力:驅動與框架更新、排程管理、故障排除,多半落在博士生肩上;學生畢業、交接斷層,是實驗室機器「越用越慢、越修越怕」的常見原因。
• 採購時程:大專院校設備採購要走規格書、招標、交機、驗收流程,從送件到真正開機常需 3 到 6 個月,對執行期只有 12 個月的年度計畫是不小的時間成本。
• 折舊與過時:會計上設備多以 3 到 5 年攤提,但 GPU 世代約 18 到 24 個月更新一輪,新卡的 VRAM 容量與每瓦效能經常大幅躍進,三年前的旗艦卡可能連新一代模型的最低門檻都搆不著。

這幾筆成本加總,三年常達硬體價格的兩到三成。保固也要留意:伺服器原廠保固常為 3 年,第 4、5 年的維修與零件成本自理,風險正好落在攤提後段。更關鍵的是風險不對稱:設備買定離手,規格就此凍結,而你的研究題目、模型規模與經費結構都還會變。

租用的價值:把資本支出變成可調節的水龍頭

租用的邏輯正好相反:免前期資本支出,月付即用;規格隨計畫階段調整,這個月用單卡主機開發,下個月訓練衝刺換成多卡 H100,結案就退租;電力、散熱、頻寬與硬體維運通常包含在月費內,實驗室不必自建機房,也不必指派專人顧機器。另一個常被低估的好處是「世代跟隨」:供應商會持續汰換機隊,租用者永遠用得到相對新的卡,不必背著三年前的規格做今年的題目。

對三種需求型態,租用幾乎是壓倒性划算:尖峰型,投稿前三個月火力全開、其餘時間閒置;短期型,一次性的模型重現、資料前處理或期末評測;計畫型,經費有明確起訖日,結案後不想留下資產與列管負擔。像 戰國策 GPU 主機租用方案 這類台灣在地服務,從單卡入門機到多卡 H100 都能按月承租,對學研單位的核銷流程也相對友善。

租用的弱點同樣要攤開講:如果機器一年到頭滿載運轉,三年租金累積起來很可能超過買斷價。所以真正該問的不是「租與買哪個好」,而是「你的利用率到底是多少」。

決策分水嶺:利用率 70% 是那條線

把數字攤開最有感。假設一台約 NT$200 萬的 4 卡伺服器以 4 年攤提,每年折舊 NT$50 萬,加上電費約 NT$7 萬、維運雜支約 NT$6 萬,一年固定成本約 NT$63 萬,不管有沒有在用都照走。同級規格的租用月費若為 NT$9 萬,租滿 7 個月就與自購年成本打平,換算利用率約六成;再把資金成本、殘值與長租折扣一併納入,交叉點通常落在利用率 70% 到 80% 之間。長期站在這條線之上,自購的每小時算力成本較低;若使用型態是衝刺兩個月、閒置四個月,平均利用率掉到三、四成,租用會明顯便宜,因為閒置的月份一毛錢都不用付。

要誠實面對的正是利用率。多數實驗室都高估自己的使用強度:課程週期、審查週期、寒暑假與學生畢業潮,都會讓機器空轉。建議把過去 12 個月的 nvidia-smi 紀錄或排程系統報表撈出來實算一次;不少院級算力中心公布的使用率報表也顯示,「感覺一直在用」與「實際佔用」之間常有兩三成的落差。

若利用率不上不下,卡在五到六成,還有一個中間解:多實驗室合購分攤。帳面利用率確實拉得高,但排程衝突、優先權與維運責任的分攤,往往比想像中難談;真要走這條路,建議一開始就白紙黑字訂好使用規範與費用分攤辦法,否則省下的錢會用人情償還。

台灣學研經費的眉角:資本門、經常門與國網中心

在台灣,國科會(NSTC)研究計畫經費分為資本門與經常門兩個口袋,中間隔著一道不容易跨越的牆。自購 GPU 伺服器屬於大型設備,多列在資本門:申請階段就要寫入設備清單、金額經審查核定,購入後納入學校財產列管,移轉與報廢都有程序要走。萬一執行到一半才發現規格買錯或需求改變,追加與變更曠日廢時,經常緩不濟急。

租用服務則多可列在經常門(業務費)項下,比照雲端資源使用費、資訊服務費按月或按期核銷,計畫中途調整規模的彈性大得多;對設備費被核刪、或經費結構偏經常門的大專院校科學研究計畫而言,租用往往是唯一能即時取得算力的路徑。另外提醒:多數學校對計畫經費收取管理費,資本門設備在計畫結束後歸屬學校財產;若實驗室空間本就吃緊,再擺進一台滿載近三千瓦的發熱設備,電力與空調改造費也得先評估。

還有一條路是國網中心(NCHC)的補助型運算資源:對學研計畫收費遠低於市價,台灣杉等系統也提供大規模 GPU 算力,但採申請審查制,從送件到核配需要時間,熱門 GPU 資源在計畫季常要排隊。務實的組合是把國網當基載、商用租用當尖峰調節,兩邊並用、互補短長。生醫領域如何用這套組合支撐基因體與蛋白質結構運算,可延伸閱讀 生命科學 GPU 運算實務。

案例試算:一筆三年期計畫的 TCO 決策

回到開頭那位教授。他主持的自然語言處理實驗室在 2025 年拿到一筆三年期計畫,可投入算力的總預算約 NT$300 萬,眼前兩個方案:方案 A 全自購,採購一台 4 卡 48GB 等級的 GPU 伺服器,報價約 NT$200 萬,系辦提醒他招標加交期至少 12 週;方案 B 混合配置,先自購一台約 NT$35 萬的雙卡 24GB 工作站,供日常開發與 LoRA 微調,訓練衝刺期再承租多卡 H100 主機。

試算假設如下:工業電價以每度 NT$3.5 元計、空調加成 1.6 倍;方案 A 伺服器滿載約 3kW;H100 等級租用主機每月 NT$8 萬到 10 萬,每年衝刺約 5 個月。最關鍵的變數是利用率:實驗室把過去兩年的排程紀錄撈出來,平均利用率只有約 35%,尖峰全數集中在兩次投稿截止前的三個月。

在 35% 的真實利用率下,方案 B 三年省下約 NT$50 萬到 70 萬,而且衝刺期能租到 80GB 的 H100 執行全參數微調——這是方案 A 的 48GB 卡做不到的事。省下來的錢,教授加聘了一名專任助理,論文產出反而更快。反過來說,如果這是一間常年跑滿的服務型算力中心,利用率穩定站上 80%,同一張試算表就會反轉,自購攤提到第三年開始回本。數字不會騙人,前提是誠實輸入自己的利用率、電價與折舊假設。

還要提醒一件事:這張表不是簽了就永遠有效。試算結果對「每年承租月數」相當敏感——若衝刺期從 5 個月拉長到 7、8 個月,兩個方案的成本曲線就會開始交叉,屆時應重啟自購評估;反之,若計畫中途追加了 80GB 以上的模型需求,自購方案得整台換新,租用只需要改一張訂單。把 TCO 表當成活文件,每年隨電價、卡價與研究路線滾動更新,才能真正把經費效益握在手上。

找台灣在地的 GPU 主機夥伴

把利用率與經費科目算清楚之後,若答案指向租用或混合配置,下一步就是找一個懂學研生態的供應商。戰國策 GPU 主機提供 NVIDIA H100 與 RTX 系列多種規格,台灣機房在地服務,延遲低、研究資料不出境,月租 NT$15,000 元起,並提供 7×24 中文技術支援,從計畫申請階段的規格建議、TCO 試算到核銷單據都能配合學研流程。歡迎造訪 https://www.nss.com.tw/gpu,或加入 LINE 帳號 @119m、撥打免費專線 0800-003-191,讓顧問陪你把三年的算力帳一次算清楚。

常見問題 FAQ

用 LoRA 微調大型語言模型,24GB 的顯示卡夠嗎?

多數場景夠用。7B 參數模型以 LoRA 或 QLoRA 微調,單張 24GB 的 RTX 4090 即可執行;13B 模型搭配 4-bit 量化也能進行,但批次大小與序列長度會受限。若目標是全參數微調或 13B 以上模型的完整訓練,建議直接規劃 80GB 等級的 H100 或多卡方案,省下反覆碰壁的時間。

全參數微調一個 7B 模型,需要什麼等級的 GPU?

全參數微調要同時保存權重、梯度與最佳化器狀態,記憶體需求約為推論的 3 到 4 倍,實務上 7B 模型需要 80GB 等級的 H100 或 A100,並常搭配記憶體分攤技術;13B 以上通常 2 到 4 卡起跳。預算有限時,先用參數高效微調驗證研究想法,確認方向再投入多卡資源最划算。

自購一台 4 卡 GPU 伺服器,每年隱藏成本大約多少?

以滿載功耗約 3kW、台灣工業電價每度 NT$3 到 4 元、空調加成 1.5 到 1.8 倍估算,五成負載下一年電費約 NT$6 萬到 8 萬;再加上維運人力與備品零件,一年隱藏成本常落在 NT$10 萬到 15 萬。三年累積可達硬體價格的兩到三成,編列計畫預算時務必一併計入。

GPU 設備的折舊年限應該抓幾年?

會計攤提多採 3 到 5 年,但 GPU 的技術壽命更短:產品世代約 18 到 24 個月更新一輪,新卡的 VRAM 容量與每瓦效能經常大幅躍進。務實建議以 3 年作為決策基準,三年後殘值常只剩兩到三成;若研究題目變動快,應把過時風險折算進總持有成本,或改用租用來迴避。

利用率要多高,自購 GPU 才划算?

經驗法則是長期平均利用率站上 70% 到 80% 再考慮自購。自購的折舊、電費與維運屬固定支出,機器閒置成本照走;租用則用多少付多少。建議先撈過去 12 個月的排程或 nvidia-smi 紀錄實際計算,多數實驗室的真實利用率僅 30% 到 50%,比自我感覺低得多。

國科會計畫經費可以核銷 GPU 租用費用嗎?

多數情況可以。GPU 租用屬服務性支出,通常列在經常門(業務費)項下核銷,比照雲端資源使用費處理,不需財產列管;自購設備一般以單價 NT$1 萬元以上、使用年限 2 年以上者列資本門,要事先編列、經審查核定並納入財產列管。各校主計室認定略有差異,建議編列前先確認一次。

國網中心的算力資源便宜,為什麼還要租商用主機?

國網中心對學研計畫的補助費率確實遠低於市價,但採申請審查制,從送件到核配常需數週,熱門 GPU 資源在計畫季還要排隊。務實作法是雙軌並行:可預期的長期工作放國網,投稿截止前 1 到 3 個月的衝刺改用商用租用即開即用,避免研究死線卡在排隊上。

4 張 RTX 4090 和 1 張 H100,研究用途該怎麼選?

先看模型放不放得進單卡。RTX 4090 單卡 24GB,四張合計 96GB,但跨卡頻寬遠低於 H100 的 NVLink,大模型全參數訓練效率吃虧;H100 單卡 80GB,能直接容納 7B 級全參數微調。要平行跑多個小模型實驗選多張 4090,要訓練大模型選 H100,兩種需求都有就考慮租用彈性切換。

研究資料放在租用的 GPU 主機上,安全與法規可行嗎?

選擇台灣在地機房可大幅降低疑慮:資料不出境,較能符合計畫與研究倫理審查對敏感資料的要求,連線延遲也僅數毫秒。簽約時確認四件事:資料落地位置、備份與銷毀機制、是否為獨享主機、存取紀錄能否留存 1 年以上;涉及個資時再加上傳輸與靜態加密。

租用 GPU 主機每個月大概要多少錢?

台灣市場的入門級 GPU 主機月租約 NT$15,000 元起,適合開發與推論;48GB 等級專業卡主機約數萬元;多卡 H100 等級依規格與租期,每月約 NT$8 萬到數十萬元。多數供應商租期越長單價越低,計畫型需求可用 3 到 6 個月的短租控制總支出。