普通 x86 NAS 都跑到本地 AI？TrueNAS 加 LocalAI 長開模型嘅代價
CPU-only 夠做文件搜尋，前提係 RAM 同功耗有數得計
跑得到，但部 NAS 一啲都唔入門
XDA 作者用嘅係裝咗 TrueNAS 嘅 TerraMaster F4-424 Max，內置 Core i5-1235U，RAM 亦由原裝 8GB 加到 32GB。佢先後試過用自訂 container 裝 llama.cpp 同 vLLM，但部署唔成功，最後改用 TrueNAS Apps 入面嘅 LocalAI，分配 4 個 CPU cores 同 8GB RAM 就順利開到。重點係成件事靠 x86 CPU、大容量 RAM 同細模型配合，入門 ARM NAS 或得 4GB、8GB RAM 嘅型號冇得直接照抄。
截至出稿，TrueNAS Apps Market 提供嘅 LocalAI 屬 Community train，頁面顯示 app version 為 v4.7.1，TrueNAS 亦講明呢類 app 由社群負責支援，平台唔會代為驗證。LocalAI 本身支援 CPU-only、OpenAI 相容 API、embedding 同網頁介面，裝模型的確方便過逐個 command 搞。不過 app 模板、backend 同模型相容性改得幾快，今日撳幾下裝到，升級後仍然正常就要自己跟進。
圖片：TerraMaster
10.5 token/s 夠做雜務，唔好當佢係工作站
按 XDA 作者嗰部機嘅結果，Gemma-4-E2B 配 LocalAI 喺處理文字 prompt 同簡單文件時，大約做到 10.5 token/s，忙緊時合共用約 6.2GB RAM。呢個速度用嚟摘要短文件、幫筆記加標籤或者回答資料庫入面嘅簡單問題，等幾秒仍算合理；長篇生成、寫大型程式或者多人同時用時，CPU 要排隊，等首個 token 嘅時間亦會明顯變長。視覺模型檔載入後效能亦會跌，作者只形容快速 OCR 仍可用，冇提供完整延遲數據。
呢啲全部係 XDA 單一配置嘅結果，TechLab 冇實測。量化版本、context 長度、散熱、記憶體頻寬同背景 app 都會改變速度，單睇 CPU 型號亦估唔準。Gemma-4-E2B 官方原始模型檔本身唔細，作者喺 8GB 配額下實際載入嘅格式同量化設定，先係能否順利運行嘅關鍵；換另一個模型或者拉長 context，食 RAM 情況可以完全唔同。
文件搜尋先最啱 NAS 發揮
作者同時長開 nomic-embed-text-v1.5，將文件內容轉成向量，再畀支援 RAG 嘅 Paperless AI、Open Notebook、Blinko 等 self-hosted app 搵出相關段落，交畀 Gemma 回答。呢種工作同 NAS 幾夾：原始文件本來已經放喺機內，embedding 可以慢慢喺背景建立索引，查詢亦通常短，唔使追求 GPU 級即時輸出。私人文件少咗上傳第三方 AI 服務，亦方便自己控制保留期同備份。
不過細模型搵到相關段落，唔代表答案一定啱。OCR 錯字、切段方式、embedding 質素同舊索引都會帶歪結果，所以合約、財務資料或者重要紀錄仍要開返原文核對。LocalAI 提供相容 API 亦唔等於自動安全；如果將服務開出公網，仍要處理權限、更新、密碼同連線保護。只喺屋企 LAN 用，或者經 VPN 存取，風險會易控制好多。
ZFS 同 AI 會爭同一批 RAM
呢個方案最易忽略嘅成本係記憶體。TrueNAS 嘅 ZFS 會用 RAM 做 ARC 快取，NAS 上面嘅檔案分享、相片管理、下載工具同其他 container 亦各自食資源。作者有 32GB RAM 都只肯分 8GB 畀 LocalAI，已經反映儲存工作要排先。若果一部 8GB NAS 硬切大半畀模型，檔案存取、scrub 或其他 app 一齊忙時，swap、container 重啟同反應變慢都有可能出現。
較穩陣嘅玩法係先記錄平日 ARC、app 同檔案服務嘅高峰用量，再由細量化模型開始，限制 CPU cores、RAM 同同時請求數，最後將 scrub、備份同建立索引安排喺唔同時段。NAS 嘅核心工作仍然係保住資料；AI 工作一多就拖慢儲存服務，分拆去細型電腦會簡單得多，亦唔會令一次系統更新同時影響檔案同 AI。
24 小時長開，功耗要用插座計
XDA 作者話可以省返另一部有獨立 GPU 嘅工作站，但原文冇提供牆上功耗，所以暫時唔可以斷言實際慳到幾多電。CPU 推理期間嘅額外耗電、硬碟數量、風扇轉速同待機時間都要計。以 30 日長開計，每多 10W 就係 7.2kWh；按 2026 年中電同港燈公布嘅平均淨電價粗略換算，每月約多 HK$10 至 HK$12，實際住宅賬單仍會受分段收費、燃料調整同回贈影響。
所以呢個玩法較適合已經有 可加 RAM 嘅 x86 NAS、平時負載有餘，同埋真係想長開文件搜尋或私人筆記助手嘅人。若果要特登買高階 NAS、32GB RAM 同 SSD 先開到一個細模型，就要同一部獨立 mini PC 比價、比功耗同保養；現有 NAS 本身有剩餘資源先值得試，條數會合理好多。
參考來源
- XDA Developers — I ran a local LLM entirely off a NAS, and it turned my storage box into an AI-hosting workstation — original report
- LocalAI 官方文件：Overview — 核對 CPU-only、OpenAI 相容 API、embedding、模型 backend 同網頁介面功能。
- TrueNAS Apps Market：LocalAI — 核對出稿時 LocalAI app 版本、更新日期、Community train 同支援責任。
- TrueNAS 文件：ZFS Primer — 說明 ZFS ARC 會用 RAM，亦交代記憶體不足對效能同穩定性嘅影響。
- TerraMaster：F4-424 Max 規格 — 核對原文測試 NAS 嘅 Core i5-1235U、原裝 RAM 同最高記憶體容量。
- 中電：2026 電價調整 — 提供 2026 年平均淨電價，供長開功耗成本粗略換算。
- 港燈：2026 電價新聞稿 — 提供 2026 年平均淨電價，補充港島住宅功耗成本參考。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
