Unsloth Desktop 接通本機 LLM 同 Codex：慳 API 費用要先過硬件一關

本機模型終於唔使逐件駁

Unsloth 推出免費兼開源嘅 Unsloth Desktop beta，支援 Windows、macOS 同 Linux。用家可以喺介面揀模型、下載合適嘅量化版本，再喺自己部機推理或者微調。真正值得睇嘅位係，佢會開出 OpenAI 同 Anthropic 相容嘅本機 API，令 Codex、Claude Code 呢類 coding agent 可以照用熟悉嘅接口搵模型做嘢，唔使開發者自己砌 llama.cpp server 同改一堆設定。iThome 報道亦將呢個整合列做今次發布重點。

Codex 同 Claude Code 點樣接入去

基本流程係先喺 Desktop 載入模型，再開啟要處理嘅 project folder，最後用 unsloth start codex 或 unsloth start claude 啟動 agent。Unsloth 亦提供 subagent 模式，原有雲端模型可以繼續做主力，只將指定工作交畀本機模型。呢種混合玩法實際過一次過轉晒本機：例如搜尋 repo、整理文件、補測試骨架同改重複格式，可以先交畀較細嘅模型；牽涉複雜架構、長距離依賴或者難解 bug，再畀能力較高嘅雲端模型接手。

私隱有著數，但唔等於完全離線

程式碼同 prompt 經本機 endpoint 交畀本機模型推理，敏感 repo 唔使每次上傳到雲端供應商，亦避開咗相關請求嘅按 token API 費用。對學生、個人開發者同處理公司內部程式碼嘅團隊，呢點幾實際。不過「本機」有清楚界線：首次下載模型要上網，開啟網上搜尋、MCP、Cloudflare 遙距連線或者外部模型供應商後，資料仍有機會離開部機。真係有保密要求，仲要逐項關閉外連功能、限制工具權限，同埋檢查 agent 自己嘅網絡設定。

跑得郁同跑得順係兩個問題

官方話 Desktop 可用 CPU、NVIDIA、AMD、Intel GPU 同 Mac，不過各平台嘅推理、訓練同加速支援都唔一致。CPU 可以聊天同處理資料，但 coding agent 會反覆讀檔、推理同呼叫工具，每次慢幾秒，做多幾步之後已經足以拖慢成個流程。Unsloth 文件建議，RAM 加 VRAM 最好至少容得下量化模型檔案；唔夠時雖然可以將部分資料卸載到 SSD，速度就會明顯跌。揀模型亦唔可以淨係睇參數量，context 長度、量化精度同工具呼叫能力都會影響 coding 表現。

官方效能數字要分開睇

Unsloth 聲稱自家訓練方案喺部分測試可快約兩倍，同時慳最多約 70% VRAM；工具呼叫修正機制就聲稱可令準確率提升最多 50%。呢啲都係官方數字，測試模型、硬件同工作負載會影響結果，暫時亦唔足以證明 Desktop 接駁任何模型都有同樣升幅。尤其係細模型，即使接口成功接通 Codex 或 Claude Code，都可能揀錯工具、漏睇檔案或者喺多步任務中途走偏；Unsloth 可以修補部分格式錯誤，補唔到模型本身嘅推理差距。

最啱由低風險工作開始

本機 coding agent 暫時最適合 repo 摘要、文件整理、簡單單元測試、樣板 code、格式統一、局部重構同搜尋敏感程式碼。要佢獨力處理大型 migration、跨多個服務追 bug，或者長時間自主改動 production project，就應該保留人手覆核同版本控制。Unsloth Desktop 將安裝、模型管理同 agent 接駁集中喺同一個介面，的確降低咗試本機 LLM 嘅門檻；下一步要睇 beta 更新能否穩住跨平台安裝、工具呼叫同長時間推理表現。

參考來源

• iThome — Unsloth Desktop整合本機AI執行與訓練，本機模型可直接串接Claude Code與Codex — original report
• Unsloth Desktop 官方發布資料 — 核對 beta 版本、支援平台、功能同官方效能聲稱。
• Unsloth GitHub README — 核對 Desktop 下載、硬件後端、Unsloth Start 同 subagent 用法。
• Unsloth 系統要求 — 核對推理與訓練支援，以及 RAM／VRAM 條件。
• Unsloth：Claude Code 本機模型教學 — 核對本機 endpoint、模型選擇、context 同推理速度限制。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。