
本機 LLM 加入即時網搜:省訂閱費前先看私隱與可靠度
本機大型語言模型可在電腦上運行,卻常受訓練資料截止日期所限;一旦問題涉及近日資訊,模型可能承認不知,亦可能自信地猜測。XDA 作者展示一套由 SearXNG、mcp-searxng 與 llama-server 組成的配置,讓本機模型判斷問題需要即時資料時,自行呼叫網頁搜尋與讀取網頁工具。
這個做法的意義,在於把「即時查詢」從雲端 AI 訂閱常見的賣點,拆成可自行部署的元件。作者所用的 SearXNG 是自架的開源聚合搜尋引擎,會把查詢送往 Google、Bing、DuckDuckGo 等引擎,再把彙整結果交給模型;中間的 mcp-searxng 則把搜尋和網頁讀取功能轉為模型可呼叫的工具。作者表示,整套流程不需 API key 或帳戶。
不過,「本機」不等於資料完全不離開電腦。模型權重與推論可留在本機,但只要啟用搜尋,查詢字串仍會傳送到相關搜尋引擎;模型要求讀取的網頁內容也會經由這套流程取得。處理私人研究、工作資料或敏感問題前,使用者應先了解自架搜尋服務的設定,以及所選搜尋引擎可能接觸到哪些查詢資料。
硬件門檻仍是關鍵
作者運行的是 Qwen3.6-35B-A3B 的量化版本,權重約 17.7GB,使用 RTX 4070 Ti Super(16GB 顯示記憶體)、Ryzen 5 7600X 及 32GB DDR5-6000。由於模型權重超過顯示記憶體容量,他把 12 層的專家權重卸載到系統記憶體,並設定 64K token context window。作者報稱生成速度約每秒 57 token、prompt 處理約每秒 1,632 token;這是其個人配置的結果,不能直接視為其他電腦或模型的效能保證。
他以查詢 CES 2027 舉行日期作示範:在沒有明示要搜尋的情況下,模型自行搜尋並給出正確答案,介面亦會顯示每次工具呼叫。這證明工作流程可運作,但只是一個單一案例,尚不足以證明所有即時問題的答案都可靠。
搜得到,不代表答得可核實
這類配置把搜尋結果和網頁內容交給模型整理,方便之處是減少在搜尋結果頁與多個網頁之間切換。但來源未說明該介面會否把每個最終答案對應至可點擊的原始來源。因此,涉及新聞、金融、法律、醫療或產品規格時,使用者仍應自行開啟原始頁面核對日期、上下文及來源可信度,尤其要防範搜尋結果過時、網頁內容錯誤,或模型摘要時遺漏限制條件。
對已有合適 GPU、願意自行維護容器與本機服務的進階用戶,這提供了減少依賴雲端聊天工具的路徑。接下來值得觀察的,是這類工具能否更一致地提供答案引用、查詢記錄控制與更清楚的私隱設定;這些環節會直接影響它能否從個人實驗配置走向日常研究工具。
延伸閱讀
AI 輔助說明: 本文由 AI 協助整理。
參考來源
- XDA Developers — I gave my local LLM live web search for free, and it replaced the one thing I still used ChatGPT and Gemini for — original report
本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。







