NAS 跑本地 LLM 控制智能家居:Qwen3 1.7B 得,但未必值得升級
3C 產品

NAS 跑本地 LLM 控制智能家居:Qwen3 1.7B 得,但未必值得升級

圖片:via XDA Developers — https://www.xda-developers.com/tested-local-llms-nas-smart-home-automation-one-didnt-fall-apart/
TechLab 編輯部(譯)·

七款模型測試講明,RAM 夠用都唔代表反應快同控制準

NAS 載到模型,距離好用仲有一大截

XDA 作者 Anurag Singh 用 Ugreen DH4300 Plus 跑 Ollama,再接駁 Home Assistant,比較七款由 270M 至 3.8B 參數嘅本地模型。呢部 NAS 有 Rockchip RK3588C 八核心 ARM CPU 同 8GB RAM,標示有 6 TOPS AI 運算力,但一般 Docker 入面嘅 Ollama 用唔到機內 NPU,推理全靠 CPU。結果好現實:細模型夠快但容易揀錯裝置,大模型理解力好啲,反應時間同記憶體佔用又開始礙事。

呢點拆穿咗 NAS 跑 AI 最常見嘅誤會。模型成功載入 RAM,只代表開得着;Home Assistant 每次仲要將裝置名稱、狀態同可用工具塞入 context。屋企燈、插座、感應器愈多,CPU 要處理嘅 prompt 愈長。NAS 同時跑緊儲存、相簿、下載或者其他 container,留畀模型嘅資源亦會再少一截。

Home Assistant 官方以屋企、感應器同 AI 組成嘅本地智能家居插圖

圖片:Home Assistant

七款得一款平衡到速度同控制

XDA 把可控制裝置數量維持喺 10 至 15 個,再測直接開關、名稱含糊、多裝置控制,同埋理應乜都唔做嘅指令。作者最重視模型有冇揀啱 tool 同參數,因為答得幾流暢都好,開錯燈或者誤觸裝置一樣係失敗。最後 Qwen3 1.7B 係七款入面最穩定嗰款;Q4 版本約 1.4GB,Ollama 亦有現成 tool calling 支援,唔使另外執輸出格式。

細一級嘅 Qwen3 0.6B 遇到含糊或者多裝置要求時準確度跌得明顯。LFM2.5 1.2B 經常揀啱動作,但輸出格式同 Home Assistant、Ollama 預期有出入,結果照樣執行唔到。Llama 3.2 3B 同 Phi-4 Mini 3.8B 食多咗資源,可靠度提升又未足以抵銷等待時間。原版 FunctionGemma 270M 容易混淆工具,亦符合 Google 對佢嘅定位:呢款係畀開發者再微調嘅底模,唔預你下載完就直接控制屋企。

Qwen3 官方發表圖片,展示 Qwen3 模型系列主視覺

圖片:Qwen Team

專門微調,比盲目加參數實際

測試入面另一款 Home-FunctionGemma 同樣只有 270M 參數,但用 24 萬條 Home Assistant 指令訓練過,處理常見 Assist API 語句明顯穩陣咗。代價係範圍較窄,講法一離開熟悉模式就較易失手。呢個結果幾值得留意:智能家居控制牽涉有限而明確嘅工具,小模型只要識得幾時呼叫邊個工具,實際價值可以高過一款識傾偈、參數多幾倍但 tool call 飄忽嘅模型。

不過呢次只係單一作者、單一 NAS 同一組裝置嘅經驗,原文亦冇交代每款模型嘅實際首字延遲、每秒 token 或完整成功率。量化版本、Ollama 版本、prompt、context 長度同裝置命名都會改變結果。Qwen 官方雖然列明 Qwen3 支援廣東話,XDA 文章就冇話測過廣東話智能家居指令,所以唔可以由呢次結果推斷「熄咗廳盞燈」呢類講法同樣可靠。

8GB RAM 只係起步,GPU 亦未必幫到

以 XDA 呢套設定睇,8GB RAM 加 1B 至 2B 級量化模型係較合理嘅起點,但呢個唔係硬性最低要求。RAM 仲要畀 NAS 系統、Home Assistant、Ollama context 同其他服務分;context 拉長或者保留太多對話,佔用會繼續升。作者用 Qwen3 1.7B 時收窄至 4,096-token context、關掉 thinking、temperature 調近零,只保留兩至四輪舊對話,目的就係壓低等待時間同輸出變數。

如果 NAS 只有舊款 Celeron、2GB 至 6GB RAM,硬塞 3B 或 4B 模型未必有實用價值。買有 NPU 嘅 NAS 亦要先查清 Ollama、container 同驅動係咪真係支援;規格表寫幾多 TOPS,軟件用唔到就等同擺設。想有明顯速度提升,通常要另加有支援嘅 GPU 或一部專門跑推理嘅電腦,成本、耗電同長開噪音都要一齊計。

私隱有着數,控制權就要收窄

本地模型最大吸引力好直接:裝置名稱、狀態、生活規律同語音內容可以留喺自己網絡,斷網時亦有機會繼續用。不過雲端費用本身未必高,為咗避開雲端而換 NAS、加 RAM 或另置 GPU,未必係划算交易。反應慢幾秒、偶爾認錯裝置,對燈光或者查溫度尚可接受,去到門鎖、暖爐、警報同大功率電器就唔值得博。

Home Assistant 官方將 Ollama 控制標成實驗功能,建議細模型只暴露少過 25 個 entity,亦提醒細模型較易出錯。較穩陣嘅做法係由原生 Assist 處理開燈、熄冷氣呢類直接指令,LLM 只負責理解較含糊嘅說話,而且只睇到一小撮低風險裝置。門鎖、警報同涉及安全嘅動作繼續交畀固定 automation,再加明確條件同確認步驟。

已有 8GB RAM 或以上 NAS 嘅人,可以先用 Qwen3 1.7B Q4、少量 entity 同低風險裝置試清楚,未使急住換機。舊款入門 NAS 用家如果只想快手控制屋企,原生 Assist 通常爽快過加一層 LLM;真係重視資料唔出屋,又想處理自然語句,先值得考慮專門推理硬件。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook