Qwen3.6 本地駁 coding agent：慳 API 費背後，硬件同權限先要計清

關鍵係 OpenAI-compatible 接口

XDA 作者 Ayush Pande 今次用 Qwen3.6-35B-A3B 配合 Pi coding agent，今次重點係模型可以按需要寫 TypeScript extension，再交畀 Pi 使用。佢叫模型按需要寫 TypeScript extension，跟住由 Pi 接駁 Proxmox、Docker、Podman、Redis、Home Assistant 同 TrueNAS。作者話，呢種做法可以少裝一堆平時未必用到嘅 MCP server，亦唔使每次對話都塞入大量工具定義，對本地模型有限嘅 context 空間幾實際。

接法本身幾直接：先用 llama.cpp 或 LM Studio 載入 GGUF 模型，再開一個本機 OpenAI-compatible server；Pi 嘅模型設定就將 baseUrl 指向例如 http://127.0.0.1:8080/v1，API 類型揀 OpenAI completions，再填返本地模型 ID。呢層相容接口幾重要，因為支援自訂 provider 嘅 agent harness，大多唔使專登為 Qwen 重寫成套連接邏輯。不過 OpenAI-compatible 只代表請求格式接近，tool calling、thinking 訊息同 sampling 參數仍然可能因推理引擎而有差異。

圖片：Wikimedia Commons — LrgFranzones（CC BY-SA 4.0）

私隱好咗，唔代表完全冇資料外流

對公司程式碼、未公開產品同客戶資料比較敏感嘅團隊，本地推理最大好處係 prompt、程式碼同模型輸出可以留喺自己部機，亦冇逐 token API 收費。代價就係要自己處理模型、driver、更新、功耗同故障。仲要留意，agent 用到網頁搜尋、遙距 MCP、套件下載、telemetry 或雲端 database 時，資料仍然有機會離開部機；**就算模型留喺本機，其他工具仍然可能將資料傳出去。**正式用之前要逐個工具睇清楚網絡權限同 log 會寫去邊。

API 成本亦唔可以淨係同零蚊比較。本身已有合適 workstation，又會長時間高用量，攤分硬件同電費之後，本地模型先較容易計得過數。間中先叫 agent 改幾個檔案，雲端 API 可能仲平同省事，亦通常有較穩定嘅吞吐量。獨立開發者最值得計嘅係每月實際 token 用量、等候時間同維護工時，唔係見到免費權重就當運行成本消失咗。

普通電腦未必食得落 35B 模型

Qwen3.6-35B-A3B 係 MoE 模型，每個 token 只啟用約 3B 參數，所以生成速度有機會順過同規模 dense 模型；但模型權重仍然要放入 RAM、VRAM，或者分兩邊處理。LM Studio 社群提供嘅 Q4_K_M GGUF 單一檔案已有 21.2GB，Q6_K 係 28.5GB，Q8_0 就去到 36.9GB，實際運行仲要預留 KV cache、程式同作業系統記憶體。context 開得愈長，額外用量亦會跟住升。

XDA 作者話，佢喺 RTX 3080 Ti 配合 llama.cpp 嘅 --n-cpu-moe offload，錄得約 24 token/s。呢個只係佢嗰套硬件、量化同設定下嘅個人結果，**TechLab 未有實測，唔應該當成一般速度保證。**CPU、RAM 頻寬、GPU backend、offload 層數、量化版本、context 長度同有冇開 thinking，都足以令速度差一大截。打算照砌嘅話，先用實際 repository 跑細任務，睇首 token 等候時間、完整任務耗時同記憶體峰值，會實際過淨係睇 token/s。

識寫 extension，亦代表識郁你部機

作者用 Pi 即場生成 extension，省卻搵現成 integration 嘅功夫，不過模型寫得出工具，唔代表工具邊界寫得安全。佢亦承認 Pi 本身設計精簡，缺少足夠權限保護，所以另外裝咗 pi-permission-system。呢個 extension 可以對工具、shell 指令、MCP、技能同工作目錄以外嘅檔案設 allow、ask 或 deny；套件頁同時提醒，第三方 Pi package 本身可以執行程式碼，安裝前都要先審 source。

開 agent 處理陌生 repo 時要再小心一層。惡意 README、測試資料或 dependency script 都可能藏有 prompt injection，誘使模型讀取環境變數、改設定或者執行指令。較穩陣嘅做法係放入冇敏感憑證嘅 container 或 VM，只掛載指定工作目錄，預設封住網絡同寫入權限，高風險指令逐次確認。權限提示只係最後一道閘，唔可以代替 sandbox；如果 agent 本身已獲准使用一個能力過闊嘅工具，確認視窗亦未必救到。

適合邊類開發者

呢套組合最啱本身已有大記憶體電腦、願意調 llama.cpp，而且程式碼唔方便交上雲端嘅開發者或小團隊。Pi 精簡嘅工具層可以留多啲 context 畀模型處理 repository，而 OpenAI-compatible API 又令轉模型比較容易。至於想裝完即用、追求最快完成任務，或者冇時間維護推理環境，成熟雲端 coding agent 暫時仍然省心得多。下一步應該睇 Qwen 喺真實、多檔案任務嘅成功率，同一套權限設定能唔能夠長期守住界線。

參考來源

• XDA Developers — I used a local Qwen3.6-35B-A3B LLM to extend my coding harness' capabilities — original report
• Qwen3.6-35B-A3B-FP8 model card — Qwen 官方模型卡，核對 OpenAI-compatible API、tool calling、thinking 模式同推理引擎設定。
• LM Studio Community Qwen3.6-35B-A3B GGUF — 核對 GGUF 量化檔案大小、llama.cpp 本地 server 指令同 Pi 接駁範例。
• pi-permission-system — 核對 Pi 權限 extension 嘅 allow、ask、deny 規則、適用範圍、限制同第三方套件安全提示。
• OWASP LLM01:2025 Prompt Injection — 補充惡意文件、程式碼注入同 agent 工具權限相關風險。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。