
別讓一個本地 LLM 包辦所有工作:按任務分流的取捨
在一般遊戲 GPU 或手機可用記憶體有限的情況下,把單一大型本地 LLM 當成萬用工具,往往意味著快速查詢也要承受較慢回應;改用小模型雖可提升速度,卻未必應付到多步推理、程式或視覺理解工作。XDA Developers 作者 Nolen Jonker 分享的做法,是把任務分給數個模型,而非尋找一個包辦所有工作的選擇。
這個方向對重視離線處理文件的人有實際意義,但限制同樣明確:本地運行不代表答案可靠,也不等同資料絕對安全;模型、量化版本、prompt、工具設定及裝置,均會改變結果和資源需求。
以任務決定模型,而非只看參數量
作者把 Qwen 3.5 4B 用於截圖、日常問題及配合搜尋工具的研究;較著重多輪討論和逐步推理的工作,交予社群微調模型 Qwythos 9B v2;YAML、JSON、regex,以及小型 Python 腳本等程式相關工作,則交由 FluentlyQwen3-Coder-4B。
這種分流的核心,是讓小型模型負責高頻、低延遲的工作,將較複雜任務交給專門模型。按作者說法,4-bit 量化的 Qwen 3.5 4B 約需 3GB 空間,約為 9B 版本的一半,因而可騰出更多 context window;他亦指 Qwythos 的 4-bit Q4_K_M 檔案約 5.7GB,可完整放入 RTX 3070。
這些數字可作配置方向參考,卻不應直接視作其他裝置上的保證。不同量化格式、推論軟件與 context 長度,都可能令記憶體佔用和速度有明顯差異。
小模型快,卻要為「不知道」設防
分工不會自動解決幻覺問題。文章引述 Artificial Analysis 的測試:Qwen 3.5 4B 在不懂回答事實問題時,約八成情況會猜測而非明言不知道。作者因此為模型加入 Brave Search 和網頁擷取工具,讓它先搜尋及閱讀頁面再作答。
這也是本地 LLM 工作流較容易被忽略的一環。搜尋工具可補足模型知識不足,但不能取代核對來源;工具讀到的內容、模型對內容的理解,以及使用者提出的問題,本身都會影響結論。涉及銀行結單、健康檢測結果等敏感文件時,離線查詢或可減少資料上傳至雲端的需要,但仍須留意模型檔案、推論 app、外掛工具及文件儲存位置的權限與來源。
benchmark 可作提示,不能代替實際任務
Qwythos 開發者 Empero AI 聲稱,其 v2 在 GSM8K 的成績為 93.6%,高於基礎 9B 模型的 80.6%;在 GPQA-diamond 則為 49%,相對基礎模型的 32.8%。不過,這些屬開發者自行公布的數據。作者的實際感受是,該模型較適合多輪、較複雜的討論,但影像和程式並非其強項。
對準備部署本地 LLM 的用戶而言,較實際的起點是先把工作分成幾類:短問答與文件檢索、圖片或截圖理解、多步推理、程式生成與程式碼解讀;再以手上的 GPU、手機記憶體和可接受延遲,逐項試用合適模型。尤其社群微調模型雖可能針對特定任務表現更好,仍應以自己的提示、文件格式與硬件驗證。
下一步值得觀察的,是本地推論工具能否更方便地按任務自動路由模型,同時讓用戶清楚掌握檔案、搜尋工具與敏感資料的處理範圍。
延伸閱讀
AI 輔助說明: 本文由 AI 協助整理。
參考來源
- XDA Developers — I stopped trying to make one local LLM do everything, and that's when it got useful — original report
本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。







