
16GB 顯示卡可跑本地 coding agent,但一次對比未足以下訂論
XDA Developers 作者以配備 RTX 4070 Ti Super(16GB VRAM)的電腦,嘗試在完全斷網下運行本地 coding agent。結果顯示,開源 OpenCode 配合量化版 Qwen3.6-35B-A3B,能自行建立、測試並修正一個 GPU 監測 Python 工具。對於已有合適顯示卡、重視資料不離開電腦的開發者,這反映本地 agent 已可處理部分清晰、可驗證的編程工作。
不過,這並不等於 16GB 顯示卡已能全面取代雲端 coding 訂閱。該測試只有一項任務,而且模型並非完全放在 VRAM:作者把 12 層 experts 留在 system RAM,才在約 15GB VRAM 內保留 128K context window。硬件門檻、模型量化方法、記憶體配置與任務類型,均會明顯影響結果。
一套本地 agent 如何組成
作者使用 OpenCode v2.2.0 作為 terminal agent,負責讀取檔案、執行指令和修改程式碼;Qwen3.6-35B-A3B 則負責決策。模型經 Unsloth 的 UD-IQ4_XS 量化,並透過 llama.cpp runtime 提供服務。
為避免工具暗中轉用雲端模型,作者把 OpenCode 鎖定至本機的 llama-server,再關閉電腦網絡才開始測試。按其量度,生成速度約為每秒 65 至 70 tokens,prompt 處理最高約每秒 1,837 tokens;整段工作只用了 128K context window 的不足五分之一。
同一工作,兩者都交到功課
兩個 agent 面對相同 prompt:建立一個每秒記錄 Nvidia GPU 功耗、溫度、使用率、VRAM 用量及核心時脈的 Python 工具,輸出附時間戳記的 CSV,支援 --duration,完成後計算平均及峰值功耗,並輸出功耗與溫度圖表。
按作者記錄,本地組合在 3 分 44 秒完成,所有六項要求均通過。它自行找到 nvidia-smi、寫好程式並在測試前修訂;報告的平均 27.32W、峰值 74.83W,與其輸出的 CSV 相符。然而,它把約 15.7GB VRAM 用量錯誤解讀為一般桌面與背景 app 的正常狀況,亦未在使用說明列出 pandas 和 matplotlib 依賴,乾淨環境首次執行會報錯。
同場比較的 Claude Sonnet 5.5 則在 2 分 42 秒完成,亦滿足六項要求。作者指出,它多次重跑 30 秒測試以修正圖表標籤,並有交代圖表所需套件、逐行儲存 log,以及把功耗與溫度分拆為兩個圖表面板。換言之,雲端工具在這個任務的優勢主要是速度和交付細節,而非能否完成核心功能。
真正的取捨是適用範圍,不只是成本
作者按 Claude Code 的用量面板,估算該次雲端工作約值 0.37 美元,並由其每月 20 美元的 Pro 計劃涵蓋;本地一輪則按其同一套硬件的耗電量估算,電費約五分之一美仙。這個差距說明,對可重複、範圍明確的工作,本地執行有機會把邊際成本壓得很低。
但這只是單一作者、單一硬件和單一任務的比較,不能直接推演至大型 codebase、長 context、多檔案重構或未見過的技術問題。尤其本地模型能達到這次結果,依賴特定量化、CPU 卸載設定及充足 system RAM;所謂「16GB 可跑」不應理解為插上 16GB 顯示卡便可原樣複製。
下一步較值得驗證的,是在相同離線設定下,以不同難度的真實程式修改任務,量度完成率、修正次數、context 壓力與總耗時。這會比一次成功建立小工具,更能界定本地 coding agent 適合接手哪些日常工作。
延伸閱讀
AI 輔助說明: 本文由 AI 協助整理。
參考來源
- XDA Developers — I expected Claude Code to crush its open-source rival on my 16GB GPU, but that’s not what happened — original report
本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。







