本機 LLM 都識叫工具：local AI agent 入門要睇清限制

本機 AI agent 變咗咩

先講清楚，XDA 呢篇唔算產品發布，而係 Adam Conway 分享自己點砌一套本機 agent。重點好實際：本機 LLM 唔再淨係「你打字、佢答字」，而係可以叫工具去搜尋、開網頁、擷取內容、記住跨 session 資料，甚至喺 coding agent 入面讀檔、改檔、跑 shell。呢件事值得睇，因為雲端 agent 最吸引嗰部分，開始有啲可以搬返自己部機做。

圖片：Ollama

Function calling 其實冇咁神秘

Function calling 唔係模型自己真係撳掣開 browser，模型做嘅係睇完你句 prompt 之後，輸出一個結構化要求：想叫邊個工具、帶咩參數。真正執行搜尋、讀檔、開 API、跑 command 嘅，係外面嗰層 app 或 agent harness；結果再塞返入模型，模型先整理答案。Ollama、LM Studio、llama.cpp 呢類本機推理工具而家都支援類似做法，但成件事穩唔穩，取決於模型識唔識揀啱工具同填啱參數。

MCP 係個插頭，唔係魔法

MCP 最有用嘅位係標準化：AI app 可以用同一套方式接資料庫、檔案、搜尋器、browser automation、公司內部 API。Claude Code 同 ChatGPT 嘅 app / connector 生態都向呢個方向行，本機 LLM 亦可以經 Open WebUI、Pi、其他 agent harness 接 MCP server。咁做嘅好處係工具層開始可搬走，唔一定死跟某一間雲端供應商；壞處係你要自己搞權限、log、錯誤處理同安全邊界。

XDA 嗰套點樣砌出嚟

XDA 作者嗰套用 Pi 呢個 terminal coding agent 做核心，再加 MCP 同 sub-agent extension。工具方面有 Playwright 做 browser automation、SearXNG 做自架搜尋、Crawl4AI 將網頁抽成乾淨 Markdown，Qdrant 加 mem0 負責記憶。硬件方面，作者話用 Radeon RX 7900 XTX 跑 27B Q4 量化模型，100,000 token context 加 MTP 可以有 40 至 60 tokens/s；呢個係作者環境數字，唔好當成你部機必然做到。

重點係：工具層開始可以拆開用

以前講 Claude / ChatGPT agent，好多人會將「強模型」同「識用工具」綁埋一齊睇。但而家睇返，工具層其實慢慢變成一堆可替換部件：模型 endpoint 可以係 Ollama、LM Studio、llama.cpp；前端可以係 Open WebUI；外掛可以係 MCP server；記憶可以係向量資料庫。雲端大模型仍然順過、準過、少啲要自己修，但本機方案亦示範咗一樣嘢：好多 agent 能力，其實係模型、執行 loop 同工具清單夾埋做出嚟，唔一定要綁死雲端平台。

限制：細模型會亂，長任務會散

講真，本機 tool calling 最常見問題唔係「冇工具」，而係模型叫錯工具、漏參數、格式出錯，或者跑到第三步開始忘記自己做緊咩。Open WebUI 文件都提醒，細本機模型就算 technically 支援 function calling，多步 agent 任務都可能頂唔順。硬件亦係現實：7B、8B 可以易啲跑，但可靠度未必夠；20B、30B 級量化模型舒服好多，不過 VRAM、統一記憶體、context 長度全部都會食資源。

私隱好處真係有，但唔係自動滿分

本機跑模型最大吸引力係公司文件、客戶資料、未公開研究唔使成份資料丟上 cloud，對 developer、研究、內部知識庫好啱用。不過一接工具，私隱邊界就變複雜：SearXNG 可能仍然查外部搜尋源，Playwright 可能開住已登入網站，Crawl4AI 會擷取第三方頁面，MCP server 可能讀檔同跑 command。公司 IT 真係要玩，就要分開測試帳戶、限制目錄、設 allowlist、開 sandbox，同埋留意網站條款同 prompt injection。

同 Claude / ChatGPT agent 差喺邊

Claude Code 同 ChatGPT agent 強在成套體驗：權限提示、內建工具、app directory、browser、code interpreter、企業 admin control，全部有人幫你包好。OpenAI 文件講 ChatGPT agent 可以瀏覽網站、處理上載檔案、接第三方資料源同做表格任務；Claude Code 文件亦講到 MCP、權限同 prompt injection 風險。Local LLM 版本就係相反：可控、可改、資料可留喺自己機，但要自己承擔維護、速度、準確度同安全設計。啱玩嘅人係 developer、公司內部工具團隊、重視資料私隱嘅研究同內容製作人；想即開即穩，暫時雲端 agent 仍然慳力好多。

參考來源

• XDA Developers — My local LLM can call every tool that Claude can, except it runs on my own hardware — original report
• Open WebUI Tools documentation — 核對 Open WebUI Native / Agentic tool calling 支援，同細模型可靠度限制。
• Ollama Tool calling documentation — 核對 Ollama 點支援單次同多輪 tool calling。
• LM Studio Tool Use documentation — 核對 LM Studio 本機 server 同 OpenAI-compatible tool use 做法。
• llama.cpp function-calling documentation — 核對 llama.cpp / llama-server 對 OpenAI-style function calling 嘅支援情況。
• Model Context Protocol introduction — 核對 MCP 作為 AI app 接外部工具、資料源同 prompt 嘅標準。
• Claude Code MCP documentation — 核對 Claude Code MCP、權限、人手批准同 prompt injection 風險相關說明。
• OpenAI Help Center：ChatGPT agent — 核對 ChatGPT agent 官方描述，包括 browser、檔案、第三方資料源同安全提醒。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。