自架 AI 由玩模型去到真係幫手做嘢，第一步係清走模型焦慮
Ollama 好易令人越裝越多，但慳時間靠揀好用途同接好工具。
模型越多，未必越有用
XDA 作者 Yash Patel 喺篇文入面講嘅情況，好多玩 local LLM 嘅人應該中過：一開始用 Ollama 覺得好自由，Llama、Mistral、DeepSeek、Qwen、Gemma 見到就裝，試幾條 prompt、睇吓邊個答得順，跟住 SSD 就慢慢變成模型倉。佢最後發現，平日仍然係靠兩三個模型做大部分嘢，其他大多數只係留低佔位。玩 local LLM 最易停唔到嘅位，往往係不停試新模型，而唔係真係慳到時間。
圖片：Ollama
benchmark 唔等於你份工
佢文入面有個位幾中：早期會用 reasoning、coding、instruction-following 分數去判斷模型，但自己真正做嘅其實係摘要長文件、抽 PDF 重點、整理 notes、睇明舊 code。呢啲任務唔只睇排行榜，仲睇反應快唔快、會唔會成日答到太長、要唔要改 prompt 改三次先中。香港辦公場景仲麻煩，會議 notes 可能中英夾雜，合約又有法律字眼同公司縮寫；模型頁寫到支援多語，都要用自己平時材料試，先知有冇真係啱用。
先畀每個模型一份工
Yash Patel 嘅做法係畀模型分工：日常用一個跑得順嘅 model，長文件/PDF 用另一個較重但分析較細嘅 model，程式碼就交畀 coder model。呢個方向幾值得抄，但唔使抄佢個名單；每部機、每種文件、每個人對速度嘅忍耐都唔同。比較貼地嘅做法，係先列三件你真係會每日做嘅事，例如會議紀錄摘要、私隱敏感文件問答、repo 內部 code 解釋，再用同一批材料試兩三個候選模型。跑得快、答得穩、改 prompt 少嗰個先留低。
文件問答要靠索引，唔好淨係塞入 chat
自架 AI 真正開始幫到手，通常係當佢入到你本身做嘢嘅位置。Ollama 官方文件寫明，安裝後有本機 API，可以俾其他 app 叫模型；官方亦有 embedding 文件，講點樣令文字變成 vectors，用嚟做 semantic search 同 RAG。講白啲，合約、PDF、內部 wiki、project notes 唔一定要成份塞入 chat；先切段、建立索引、問嘢時搵返相關段落，再交畀模型答，可靠度通常好過靠模型憑記憶估。
硬件限制要早啲攤開睇
好多模型焦慮，其實係硬件焦慮包裝咗一層新名。Ollama model library 會列出每個模型嘅 size 同 context，官方 context 文件亦講得好直接：少過 24GiB VRAM 時，預設 context 係 4K；24 至 48GiB 係 32K；48GiB 或以上先到 256K。長 context 會食多啲 memory，所以大 PDF、agent、coding tools 唔係裝咗個大模型就自然順。你部機如果係普通 laptop，可能細模型加好索引，實際上舒服過硬上 30B、70B 再等到火滾。
私隱係優勢，但唔好講到包醫百病
local LLM 對香港公司同個人最大吸引力，往往係資料唔使一開波就送上雲端：未公開嘅報價、客戶資料、員工紀錄、合約草稿，放入公開 cloud chatbot 之前一定要停一停。Ollama 官網自己都主打 data stays yours 同 offline run，但呢個只係起點。本機有冇加密、模型 server 有冇開錯 port、同事有冇權限睇同一個資料夾、backup 會唔會又上咗另一個雲端服務，全部都要一齊諗。自架 AI 可以降低外流風險，唔代表可以跳過公司 IT 同法規要求。
點樣清走模型焦慮
比較好用嘅規矩係：只留一個日常 chat model、一個 code model、一個 embedding model，最多再加一個長文件/深度分析 model。新模型出現時，先用取代規則去睇：佢可唔可以取代現有位置，答得準啲、快啲、食少啲 VRAM、對中英夾雜材料穩啲，先有資格留低。試完冇明顯改善就刪，唔好等「遲啲可能有用」。自架 AI 用得順唔順，最後睇嘅唔係你記得幾多個模型名，而係 notes、PDF、code editor 入面，可唔可以少做幾輪 copy-paste。
參考來源
- XDA Developers — I stopped treating AI models like Pokémon—I don't need to collect them all — original report
- Ollama Library — 官方模型庫，用嚟確認 model size、context 同唔同模型分類。
- Ollama API Introduction — 官方 API 文件，用嚟確認 Ollama 安裝後有本機 API 同官方 Python/JavaScript library。
- Ollama Embeddings — 官方 embeddings 文件，用嚟確認 embedding model、semantic search 同 RAG 基本做法。
- Ollama Context Length — 官方 context 文件，用嚟確認 VRAM 同 context 預設關係。
- Ollama Homepage — Ollama 官網，用嚟確認佢主打 open models、cloud/offline 同 data stays yours 講法。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
