Ollama 之外，本機 LLM 工具應該點揀？六種用法一次拆清

Ollama 夠易用，但唔應該鎖死選擇

XDA 今次列出 LM Studio、llama.cpp、KoboldCpp、Jan、vLLM 同 Msty AI，出發點好合理：Ollama 令本機 LLM 入門門檻低咗好多，但用耐咗就會發現，聊天、API server、RAG、多人權限、GPU serving 其實係幾件事。你想慳 API 月費、想公司文件留喺內網，又或者外勤冇網都要寫稿同改 code，揀工具前要先問自己用嚟做咩，唔好一見「Ollama alternative」就全部當同一類。

圖片：LM Studio

LM Studio：想快啲開始，又想留條 API 後路

LM Studio 官方講明支援 macOS、Windows 同 Linux，可以下載同跑 Llama、Qwen、DeepSeek 等模型；開發者頁亦可以開 localhost 或內網 server，出 OpenAI-compatible 同 Anthropic-compatible endpoint。呢個定位好清楚：內容工作者、產品經理、初學 developer 想用 GUI 揀模型、試 prompt，偶爾畀 coding 工具改 base URL 駁本機，LM Studio 係少麻煩嗰條路。限制係佢始終由桌面 app 起家，團隊權限、審計、集中管理未必係強項。

圖片：Jan

Jan：開源桌面 ChatGPT 感覺，私隱派會啱

Jan 就係另一種桌面取向，不過重點放喺開源同離線。官方 GitHub README 寫明，Jan 可以下載 Hugging Face 開源模型、駁 OpenAI/Anthropic/Mistral/Groq 等雲端模型，亦有 localhost:1337 OpenAI-compatible API；macOS 參考配置寫到 8GB RAM 跑 3B、16GB 跑 7B、32GB 跑 13B。呢組數字好啱做心理尺：8GB MacBook Air 可以玩，但唔好期望大模型又爽又長 context；16GB 先算日常可用，32GB 先有空間試大少少模型。

Open WebUI：多人用、內網用，要認真睇

多人場景要認真睇 Open WebUI。官方 docs 寫佢係 self-hosted AI 平台，可以完全離線運作，支援 Ollama 同 OpenAI-compatible API；feature 頁再列明有 RAG、文件上載、web search、code execution、RBAC、SSO/OIDC/LDAP、Docker/Kubernetes/pip 部署。講人話，即係你有一部 office mini PC 或小型 GPU server，想畀幾個同事用同一個入口問文件、跑模型、管權限，Open WebUI 會實用過每人自己裝一個 desktop app。

AnythingLLM：公司文件問答，少碼方案

AnythingLLM 嘅重點係文件問答同 agent 工作。官方產品頁寫到文件、聊天、模型、storage 都預設留喺桌面本機；docs 又講 Desktop 適合單人一鍵用，Docker 版本支援多人、workspace 權限、私有文件、vector database 同 developer API。中小企想搵一個「公司文件問答」入口，唔想由零砌 RAG pipeline，AnythingLLM 冇 Open WebUI 咁 IT-heavy；但要留意 RAG 唔會魔法解決資料混亂，文件權限、版本、命名亂，答案一樣會亂。

llama.cpp：控制狂同細機救星

llama.cpp 係另一個層次：佢唔主打靚 UI，而係 C/C++ inference engine。GitHub README 寫明目標係少 setup、喺好多硬件上跑得快，Apple Silicon 有 ARM NEON、Accelerate、Metal，x86 有 AVX 系列，亦支援 CUDA、HIP、Vulkan 等 backend；模型主要用 GGUF，仲可以開 OpenAI API compatible HTTP server。適合邊個？熟 terminal、想控制量化、context、GPU offload、container image 嘅 developer。你要離線寫作未必要掂佢；你想塞 local model 入自己 app 或 coding agent，遲早會見到佢。

vLLM：有 GPU、有多人流量先值得搞

vLLM 嘅對象唔係普通 desktop chat 用家。官方 docs 叫佢做 LLM inference and serving library，重點係 throughput、PagedAttention、continuous batching、prefix caching、OpenAI-compatible API server，同埋 NVIDIA/AMD GPU 以至 CPU/其他 accelerator 支援。你有多人同時打 API、要做內部工具、要畀幾個 app 共用同一個 model，vLLM 值得研究；得一部 16GB MacBook 想離線寫文，用 vLLM 反而會令 setup 複雜過件事本身。

另外兩個：KoboldCpp 同 Msty AI 點睇

至於 XDA 提到 KoboldCpp 同 Msty AI，可以當補位選項：KoboldCpp 強項係 portable，單一 executable load GGUF 後就有 web UI 同 API，適合想拎 USB 或臨時機用嘅人；Msty AI 就似一個本機加雲端 AI workspace，啱想將 chat folders、prompt library、web search 放埋一齊嘅個人用家。不過公司內部文件問答同多人權限，Open WebUI/AnythingLLM 呢類平台型工具通常貼地啲。

硬件同現實：本機 AI 都有帳要計

講硬件要實際啲。8GB RAM MacBook 或普通文書 mini PC，可以試細模型同短對話，但一上 RAG、長文件、coding agent，多數會卡喺 RAM、VRAM 同 context。16GB Apple Silicon 會舒服過 8GB，32GB 以上先有多啲空間；Windows gaming PC 如果有 NVIDIA GPU 同足夠 VRAM，llama.cpp、LM Studio、vLLM 會有多啲玩法。不過所有速度都受模型大小、量化格式、driver、散熱影響，冇官方或第三方同配置測試就唔好信「一定快」呢類講法。

我會點揀

所以我會咁揀：單人入門同離線寫作，用 LM Studio 或 Jan；想開源取向同簡單 API，用 Jan；想部機喺內網畀幾個人用，用 Open WebUI；想主力做文件問答同 agent，用 AnythingLLM；想壓榨硬件同塞入 app，用 llama.cpp；要高 throughput API serving 先諗 vLLM。Ollama 仍然係好好嘅起點，但本機 AI 去到 2026，唔好再只用「邊個裝得快」做標準；日常用法、硬件同資料管治，會決定邊套工具啱用。

參考來源

• XDA Developers — Ollama is the easiest way to start local LLMs, but these 6 alternatives are also worth trying — original report
• LM Studio Docs — 核對平台支援、離線用法、local API server 同 OpenAI-compatible endpoint。
• Jan GitHub README — 核對開源、離線、平台下載、API 同 RAM 參考。
• Open WebUI Docs — 核對 self-hosted、RAG、權限同部署功能。
• llama.cpp GitHub README — 核對 GGUF、硬件 backend、量化同 llama-server API。
• vLLM Documentation — 核對 serving 定位、PagedAttention、continuous batching 同 API 支援。
• AnythingLLM Docs — 核對文件問答、RAG、Desktop/Docker、多人權限同私隱設定。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。