#本地 AI
28 篇文章
TechLab 所有關於「本地 AI」嘅文章、評測同教學，由最新排起。
3C 產品本地 LLM 唔使一款打天下：拆解 XDA 作者長留硬碟嘅 4 個選擇
XDA 作者試過逾 20 款本地 LLM，最後按工作留下四款量化模型。不過呢份清單建基於佢自己部電腦同使用習慣，當中仲有社群改版；揀之前要睇清模型來源、RAM、VRAM，同自己願意用幾多速度換私隱。
3C 產品RTX 2080 Ti 改焊至 22GB：平價本地 AI 卡有容量，速度同風險點計？
日本改裝店提供 RTX 2080 Ti 22GB VRAM 升級，收費約 45,000 日圓。22GB 的確容得下較大本地模型，不過 Turing 架構、250W 功耗、軟件兼容同改焊風險都冇消失，買卡連改裝嘅成本亦要同新卡逐項計清楚。
3C 產品RTX 5090 嘅 VRAM 拎嚟頂 RAM？WSL2 跑到，但代價唔細
XDA 作者用 nbd-vram，成功喺 WSL2 將約 7GB RTX 5090 VRAM 變成 swap。不過實測隨機讀取輸俾 VHDX，仲要關掉一項防死鎖保護先跑到。呢招可以幫 containers 同編譯避過爆 RAM，卻唔等於真係加咗 system RAM。
3C 產品GeForce NOW 俾人開出完整 Windows：AI 借卡背後嘅 sandbox 風險
Modder Zortos 聲稱可以喺 GeForce NOW Ultimate 開出完整 Windows desktop，仲跑到本地 AI 模型。不過現有資料未證明有人逃離虛擬機或接觸其他用戶；Install-to-Play 擴大咗攻擊面，亦令帳戶、GPU 資源同 sandbox 管理複雜咗。
3C 產品玩 local LLM 一定要獨立顯示卡？RTX 5070 同舊 iGPU 差距拆解
XDA 用 RTX 5070 Laptop GPU 同 Ryzen 7 5825U integrated graphics 跑同一個 Gemma 3 4B。獨顯生成快好多，不過舊 laptop 靠量化模型同共享 RAM，一樣做到摘要、改文同問答。想試本地 AI，未必一開始就要買顯示卡。
3C 產品RTX 5080 跑 Qwen 3.6：16GB VRAM 真係夠取代 Claude？
XDA 用 RTX 5080 跑 Qwen3.6-35B-A3B，成功一次過寫好檔案整理工具。設定睇落幾吸引，不過 16GB VRAM 只係靠系統 RAM 補位，而且測試未去到真正 coding agent 同大型 repository 嘅難度。
3C 產品普通 x86 NAS 都跑到本地 AI？TrueNAS 加 LocalAI 長開模型嘅代價
XDA 作者用一部升級至 32GB RAM 嘅 x86 NAS，長開 Gemma-4-E2B 同 embedding model，文件搜尋、筆記分類呢類輕量工作確實跑得到。不過 10.5 token/s 只屬單一配置結果，RAM、ZFS、其他 app 同電費先要計清楚。
3C 產品AppFlowy 2026 可唔可以取代 Notion？自行架設換來控制權，亦要自己維護
AppFlowy 個介面、database 同離線功能已經似足成熟工作空間，自行架設仲可以掌握資料同 AI。不過 XDA 嘅流暢體驗建基於 localhost，正式畀團隊用仍要處理收費、匯入測試、備份、保安更新同公開連線。
3C 產品舊 Windows laptop 變全屋 AI：8GB RAM 跑到，免費同私隱都有代價
XDA 作者用 Ryzen 5 5500U、8GB RAM 舊 Lenovo laptop，架起全屋共用嘅 Qwen3 4B AI。套裝確實唔使月費，手機、平板同電腦開網頁就用到，不過 8GB 只夠細模型，速度、功能、電費同 LAN 安全都要計清楚。
3C 產品x86 NAS 跑 4B 本地 AI：5 tokens/s 慢成點，仲值唔值得用？
XDA 喺冇獨立 GPU 嘅 NAS 跑 4B 模型，速度只得約 3.2 至 5.4 tokens/s。整理筆記尚算實用，複雜分析就又慢又易答錯。想照玩，除咗睇 CPU 同 RAM，亦要計埋 NAS 本身工作量、電費、維護同網上安全。
Tech NewsRTX 50 顯示卡傳再加價：香港砌機玩家而家使唔使急住買？
Nvidia 傳向板卡品牌調高 GPU 套件報價，升幅最高或達三成，GDDR6 同 GDDR7 型號都有機會受影響。不過香港零售價仲受庫存、品牌定位同保養版本左右，未必照加三成；真係要分清楚邊類用家值得提早買。
3C 產品M4 Max 本地 LLM 輸出快過 GB10，但長 prompt 同軟件生態要另計
Tom’s Hardware 測試顯示，M4 Max Mac Studio 生成 token 快過 GB10 同 Strix Halo，不過遇上長 context，GB10 處理 prompt 快好多。再計 CUDA、模型格式、同時服務多人同香港售價，呢場比拼遠未到睇一個 tokens/s 數字就有答案。
3C 產品LM Studio 配本地 LLM 整理文件：私隱夠好，但權限唔可以求其開
本地 LLM 接上 filesystem MCP，可以離線分類文件、整理 Obsidian 筆記同批量改 Markdown，敏感內容亦少一重上載風險。不過模型一樣會揀錯檔案，MCP 套件亦有供應鏈風險，實際設定要由細目錄、測試副本同逐次批核開始。
3C 產品舊款 Ryzen 手提電腦跑到本地 LLM，但未證明內置 GPU 真係有份
XDA 用 Ryzen 7 5825U、16GB RAM 手提電腦跑 Gemma 3 4B，摘要、改文同解釋概念都算順。不過原文冇公開速度、功耗、量化版本同 GPU offload 狀態，證明到普通電腦跑得郁本地 LLM，未足以證明內置顯示核心係功臣。
3C 產品本地 coding 模型細就實用？GPT-OSS 20B 贏咗一星期測試，但結論有條件
XDA 作者用一張 16GB RTX 4070 Ti Super，連續一星期比較三款本地 coding 模型，結果由下載檔最細嘅 GPT-OSS 20B 勝出。不過量化方法、模型定位同測試工作都有差異，呢次結果更適合用嚟揀個人助手，未足以證明細模型全面贏大模型。
3C 產品16GB RAM 筆電點跑 Gemma 4：版本點揀、廣東話點驗收
XDA 話 Gemma 4 E4B 喺 16GB RAM 筆電都跑得郁，不過原文冇交代 CPU、GPU、量化檔同生成速度。想離線處理文件，可以由 E4B QAT 入手，但廣東話、繁體中文同 coding 表現仍要逐項驗收。
3C 產品兩部 Dell Pro Max GB10 跑 284B 大模型，細機 cluster 頂唔頂到多 GPU server？
Tom’s Hardware 將兩部 Dell Pro Max with GB10 連成 256GB 本地 AI cluster，成功跑到 284B 大模型。成套機慳位、低功耗兼唔算嘈，不過兩部港行未計線材已要 HK$128,730，跨機設定亦遠未到插線即用。
3C 產品AYANEO NEXT 2 頂配約四萬一：貴過 gaming laptop 買到咩？
AYANEO NEXT 2 停售後重新開賣，頂配由 Ryzen AI Max+ 395、128GB RAM 同 2TB 儲存堆到 US$5,299，折合約 HK$41,300。硬件確實接近流動工作站，不過價錢、供貨、售後同上機限制，都令佢同一般掌機行緊兩條路。
3C 產品屋企跑本地 AI、出街用手機連返去：Tailscale 安全設定同取捨
XDA 作者用 Tailscale 將屋企嘅本地 LLM 帶出街，最後取消 ChatGPT Plus。不過本地 AI 能否頂替雲端服務，仲要計硬件、電費、速度、停機風險同功能差距。最易出事嗰步，係錯將公開上網嘅 Funnel 當成私人連線。
3C 產品Qwen3.6 本地駁 coding agent：慳 API 費背後，硬件同權限先要計清
XDA 作者用本地 Qwen3.6-35B-A3B 配合 Pi，叫模型即場寫 TypeScript extension，再控制 Proxmox、Docker 同其他 home lab 服務。接駁方法唔複雜，但速度、記憶體、工具相容性同執行權限，都會直接影響呢套玩法係咪真係啱工作用。
3C 產品16GB Mac 跑免費本地 coding agent：慳月費要接受細模型限制
XDA 作者停咗每月 US$20 嘅 Claude Pro，改用 16GB MacBook Air 跑 Qwen2.5-Coder 7B。小改動同 debug 可以慢慢磨，複雜工作仍輸畀 Claude；4.7GB 模型檔背後，64K context、RAM 壓力同偏鬆嘅工具權限，都會直接影響日常使用。
3C 產品舊 laptop 跑本地 AI：6GB VRAM 夠用，功能少過 ChatGPT
XDA 作者用 2017 年 Acer gaming laptop 跑 Gemma 4 E4B，報稱有 30+ tokens/s。速度夠傾偈，私隱同離線使用亦有優勢，不過 6GB VRAM、繁複安裝、舊知識同功能缺口，都令「取代 ChatGPT」只適合特定工作。
3C 產品M 系 Mac 內置本地 AI，可經 Apfel 接入 Home Assistant
XDA 作者用 Apfel 將 macOS 內置 Apple Foundation Model 變成本地 OpenAI 相容 endpoint，再接入 Home Assistant。呢件事最值得睇嘅位唔係性能，而係 Apple 原本收埋畀開發者用嘅本地模型，開始俾智能家居玩家拎嚟玩。
3C 產品Raspberry Pi 跑本地語音助手：做到，但未到離線 Siri
XDA 作者用 Pi 5、llama.cpp、Speaches 同 Open WebUI 砌到本地語音助手。亮點喺開源 AI 工具嘅 API 夾口開始成熟；不過延遲、散熱同模型大小，仍然會決定佢係玩具定工具。