Claude 配本機 LLM 真可慳一半?香港用法要先計硬件同電費
3C 產品

Claude 配本機 LLM 真可慳一半?香港用法要先計硬件同電費

圖片:via XDA Developers — https://www.xda-developers.com/my-local-llm-doesnt-replace-claude-it-makes-claude-dramatically-better/
TechLab 編輯部(譯)·

普通工作交俾本機模型,複雜推理先用 Claude

XDA 作者 Abhinav Raj 今年用咗超過 300 美元 Anthropic usage credits,原因幾直接:每次都揀最勁模型,撞到用量上限又唔想等四五個鐘,於是逐次加 5 美元。單次睇落唔肉赤,累積埋就變成一張幾難睇嘅帳單。佢後來翻查自己啲工作,發現真正要旗艦模型處理嘅架構判斷同頑固 bug,大約只佔三成。

「成本減半」有幾多實數支持?

作者將其餘約七成摘要、腦力激盪、樣板程式碼同反覆修改交俾本機模型,標題就話 AI 成本減半。不過原文冇列出改動前後每月帳單、輸入輸出 token、模型使用時間或者電腦功耗,所以減半只係佢個人帳戶嘅結果,暫時冇辦法獨立重現。七成 prompt 留喺本機,亦唔等於雲端支出自然跌七成;長對話、輸出長度同模型 effort 都會改變條數。

計費模式亦要拆清楚。Claude Pro 月費係 20 美元,內含用量會按五小時時段重設;用盡後開啟 usage credits,額外部分會按標準 API 價收費,呢筆錢同訂閱月費分開。直接經 API 呼叫 Claude,就由 token 開始逐次計。Anthropic 喺文章發布當日列出 Fable 5 每百萬輸入/輸出 token 收 10/50 美元,Opus 4.8 收 5/25 美元;Sonnet 5 推廣價就係 2/10 美元,8 月 31 日後先變成 3/15 美元。換句話講,XDA 所講 Opus 貴 Sonnet 1.7 倍,套用嘅係推廣期後標準價;喺 7 月推廣期內,兩者其實相差 2.5 倍。

Anthropic 比較 Claude Sonnet 5 同 Opus 4.8 成本及表現嘅圖表

圖片:Anthropic

分流做得好,重點係交接資料

作者用 RTX 4070 Ti Super 嘅 16GB VRAM,經 Ollama 跑量化 GGUF 版本 Gemma 4 26B 同 Qwen3-Coder 30B。本機模型先做摘要、初稿、分類、簡單測試同修改循環;遇到架構選擇或者難解 bug,介面先會將程式碼同對話背景一併交俾 Claude。佢用 Python、Flask 同規則層砌咗統一介面,送出前會顯示接收 prompt 嘅模型,保留人手決定權。原文只話速度追得上佢寫 code,冇提供 tokens per second,唔應該當成硬件 benchmark。

呢套分工幾適合內容工作者、freelance developer 同細團隊:本機模型可以先整理訪問稿、標籤文件、改寫低風險段落,或者替程式碼做第一輪解讀;Claude 就留俾跨檔案推理、架構檢查同高風險修改。不過自動路由最好由保守規則開始,牽涉付款、部署、刪資料、法律內容或者 production code,就算本機模型話有信心,都應該交高階模型同人手覆核。

有現成 GPU,條數先容易成立

作者已經擁有 16GB VRAM 顯示卡,硬件開支對佢近似沉沒成本;如果特登買卡、加 RAM 或砌新機,本機模型就絕對唔係零成本。香港電費亦要計:假設成部電腦跑模型時從插座取電 300W,每月用 100 小時,即係 30kWh。按政府公布嘅 2026 平均淨電價粗略計,中電約 42 港元,港燈約 49 港元;實際帳單會受用電級別、燃料費、待機功耗同散熱影響,最好用插座電錶量自己部機。

API 每月只用幾十港元嘅人,買新硬件通常好難回本;本身有合適 GPU、長時間重複處理大量文字同程式碼,節省先容易追過電費。速度亦要睇模型大小同量化版本:模型塞唔入 VRAM、部分運算跌落 RAM,回應可以慢好多。仲要預埋下載模型、更新環境、處理驅動問題同維護分流規則嘅時間,呢啲都係總持有成本。

私隱只保到留喺本機嗰一段

Ollama 表明純本機運行時唔會接觸 prompt 同回應,敏感草稿或者未公開程式碼可以少傳一次去外部 server。不過作者嘅方案會將「而家程式碼同對話背景」交俾 Claude,去到呢一步,相關內容已經離開部機。公司文件、客戶資料同 API key 要先遮走,亦要限制本機介面只喺可信網絡開放。對多數人嚟講,最實際嘅起點係先記錄一個月 token 帳單,再揀兩三類低風險工作搬返本機;慳到幾多,量過先有答案。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook