Ollama 配 LM Studio:點解本機 AI 裝兩個 app 會順手啲
3C 產品

Ollama 配 LM Studio:點解本機 AI 裝兩個 app 會順手啲

圖片:via XDA Developers — https://www.xda-developers.com/two-apps-to-run-local-ai-where-each-one-does-something-better/
TechLab 編輯部(譯)·

一個接駁自架工具,一個方便搵模型同開對話

本機跑 AI 模型,最初好容易以為裝一個 app 就搞掂。實際砌到文件整理、筆記搜尋、智能家居同日常聊天,你會發現每項工作對介面同整合方式嘅要求都唔同。XDA 作者 Yash Patel 最後同時留低 Ollama 同 LM Studio,呢個配搭幾清楚咁反映本機 AI 而家要點取捨。

Ollama 適合收埋喺後台

作者用 Ollama 接駁 Logseq、Home Assistant、Paperless-ngx 同編程工具,靠佢提供嘅本機 API 做統一後端。模型只要喺一個地方管理,其他工具就可以搵同一個服務處理內容,唔使逐個 app 另砌一套。呢種用法特別啱自架服務較多、想寫 script,或者想畀幾部內聯網裝置共用模型嘅人;代價係你要識少少 terminal、API、權限同網絡設定。

LM Studio Discover 頁面,顯示可搜尋同下載嘅本機 AI 模型

圖片:LM Studio

LM Studio 開嚟就可以傾

LM Studio 嘅賣點係圖形介面:可以喺模型目錄睇 GGUF 模型、檔案大小同量化版本,下載後直接開對話,再調 context length、temperature 等設定。對初次接觸本機模型嘅人,呢套做法易入口好多,亦方便用同一個 prompt 比較幾個模型。官方文件亦寫明,下載好模型同 runtime 之後,聊天、文件 RAG 同本機 server 都可以離線運作

不過,兩者嘅分工冇原文寫到咁硬。LM Studio 而家同樣有 OpenAI-compatible API,仲有可以冇圖像介面運行嘅 llmster 服務;Ollama 新版亦加入桌面 app 同設定介面。即係話,作者揀 Ollama 做後端、LM Studio 做聊天,主要反映佢習慣點用,唔代表 LM Studio 接唔到其他工具,或者 Ollama 只可以打指令。兩邊功能愈來愈似,最後點揀,多數都係睇整合夾唔夾、鍾意邊套介面,同埋肯花幾多時間設定。

LM Studio 本機模型聊天介面,畫面顯示對話同模型控制選項

圖片:LM Studio

先睇記憶體,唔好淨係睇模型名

作者部電腦有 32GB RAM、RTX 5070,佢話常用嘅 14B 至 20B 模型跑得順;呢個只係佢部機嘅經驗,唔可以套落一般 Windows notebook。按 LM Studio 官方要求,Windows 建議至少有 16GB RAM 同 4GB 獨立 VRAM;Apple Silicon Mac 同樣建議 16GB RAM,8GB 機要用細模型同較短 context。呢啲只係起步建議,唔係任何模型都會暢順嘅保證。

模型量化、context length 同有幾多層放入 GPU,都會改變速度同記憶體用量。context 拉得愈長,KV cache 食得愈多;Ollama 官方文件亦提醒,加長 context 會增加 VRAM 用量。顯示卡唔夠時可以改用系統 RAM 或 CPU,但生成速度通常會跌。Mac 用統一記憶體,睇總 RAM 較實際;Windows 就要分清系統 RAM 同獨立 VRAM,另外預返儲存空間放模型檔。

本機私隱有條件

處理公司文件、客戶資料或者私人筆記,本機模型可以減少內容送上雲端。Ollama 嘅私隱政策話,本機運行時唔會取得 prompt、回覆同模型互動內容;LM Studio 亦話本機聊天紀錄同文件會留喺裝置。不過兩邊都有網上功能,搵模型、下載 runtime、軟件更新、web search 或 cloud model 都會連線。再接駁其他 app、外掛或者 MCP server 時,資料會唔會離開部機,仲要逐個環節檢查,單靠『local』標籤都未夠。

中文好唔好,睇模型多過睇 app

Ollama 同 LM Studio 主要負責下載、載入同提供模型介面,廣東話、繁體中文同中英混合內容答得好唔好,關鍵仍然係模型訓練資料、版本、量化程度同 prompt。揀模型時要睇官方 model card 有冇寫多語支援,再用自己常見嘅電郵、會議紀錄同粵語問題試答;淨係見到模型識中文,唔代表佢會自然寫廣東話。想簡單聊天可以先用 LM Studio,準備接駁筆記、文件系統或者自架工具,再考慮 Ollama,兩個都裝亦唔算多餘。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook