TAG

#Ollama

14 篇文章

TechLab 所有關於「Ollama」嘅文章、評測同教學,由最新排起。

舊 Windows laptop 變全屋 AI:8GB RAM 跑到,免費同私隱都有代價3C 產品

舊 Windows laptop 變全屋 AI:8GB RAM 跑到,免費同私隱都有代價

XDA 作者用 Ryzen 5 5500U、8GB RAM 舊 Lenovo laptop,架起全屋共用嘅 Qwen3 4B AI。套裝確實唔使月費,手機、平板同電腦開網頁就用到,不過 8GB 只夠細模型,速度、功能、電費同 LAN 安全都要計清楚。

18 天前
x86 NAS 跑 4B 本地 AI:5 tokens/s 慢成點,仲值唔值得用?3C 產品

x86 NAS 跑 4B 本地 AI:5 tokens/s 慢成點,仲值唔值得用?

XDA 喺冇獨立 GPU 嘅 NAS 跑 4B 模型,速度只得約 3.2 至 5.4 tokens/s。整理筆記尚算實用,複雜分析就又慢又易答錯。想照玩,除咗睇 CPU 同 RAM,亦要計埋 NAS 本身工作量、電費、維護同網上安全。

20 天前
舊款 Ryzen 手提電腦跑到本地 LLM,但未證明內置 GPU 真係有份3C 產品

舊款 Ryzen 手提電腦跑到本地 LLM,但未證明內置 GPU 真係有份

XDA 用 Ryzen 7 5825U、16GB RAM 手提電腦跑 Gemma 3 4B,摘要、改文同解釋概念都算順。不過原文冇公開速度、功耗、量化版本同 GPU offload 狀態,證明到普通電腦跑得郁本地 LLM,未足以證明內置顯示核心係功臣。

25 天前
Claude Code 太貴?多個本地細模型分工,慳錢之前要計清楚硬件同時間3C 產品

Claude Code 太貴?多個本地細模型分工,慳錢之前要計清楚硬件同時間

XDA 作者嫌 Claude Code 太食 token,改用多個本地 Qwen 細模型分工。個做法勝在任務清楚、權限收窄、出錯容易追,不過原文冇速度、成功率同硬件數據,未足以證明程式碼質素贏過 Claude。

29 天前
Ollama 配 LM Studio:點解本機 AI 裝兩個 app 會順手啲3C 產品

Ollama 配 LM Studio:點解本機 AI 裝兩個 app 會順手啲

本機 AI 工具功能重疊得愈來愈多,但介面、整合方式同設定難度仍然差好遠。Ollama 適合做其他工具背後嘅模型服務,LM Studio 就方便搵模型、聊天同調校;揀之前仲要睇清 RAM、VRAM、私隱邊界同中文表現。

1 個月前
Docker Model Runner 可唔可以取代 Ollama?轉唔轉要睇開發流程3C 產品

Docker Model Runner 可唔可以取代 Ollama?轉唔轉要睇開發流程

Docker Model Runner 已經做到拉模型、GPU 加速、OpenAI/Ollama-compatible API,仲可以直接接入 Compose。不過對用開 Ollama 嘅人,功能齊唔代表值得搬;值唔值得轉,主要睇模型格式、平台支援同現有開發流程。

1 個月前
用本機 LLM 執 X 時間線:X Recommender Plus 私隱同速度仲有幾關要過3C 產品

用本機 LLM 執 X 時間線:X Recommender Plus 私隱同速度仲有幾關要過

X Recommender Plus 可以叫 Ollama 或 LM Studio 按自訂規則替 X 貼文評分,再淡化或者收起低分內容。概念幾實用,不過商店用家少、廣東話效果未有數據,權限同 API key 儲存方式亦值得先睇清楚。

1 個月前
普通電腦自己跑 LLM 值唔值?私隱同成本背後仲有幾筆數3C 產品

普通電腦自己跑 LLM 值唔值?私隱同成本背後仲有幾筆數

本機 LLM 已經去到普通 16GB 電腦都玩得起,但「跑得郁」同「取代 ChatGPT」差好遠。由模型質素、RAM、速度到用電同資料安全,真正抵玩嘅情況其實幾清楚:手上已有合適硬件,又經常處理唔方便上雲端嘅文件。

1 個月前
Calibre 電子書 AI 問答教學:本機模型、私隱同全書搜尋限制一次拆清3C 產品

Calibre 電子書 AI 問答教學:本機模型、私隱同全書搜尋限制一次拆清

Calibre 可以用雲端 API、Ollama 或 LM Studio 解釋同翻譯電子書段落,亦支援廣東話 prompt。不過佢冇索引全書內容,書庫問答主要靠 metadata 同模型本身識幾多,私隱同準確度都要睇清楚。

1 個月前
MuckScraper 用本機 AI 合併重複新聞,自架前要預咗自己執設定3C 產品

MuckScraper 用本機 AI 合併重複新聞,自架前要預咗自己執設定

MuckScraper 會將多間媒體報道合併成同一單新聞,再用 Ollama 本機模型整理摘要。概念啱晒受夠重複標題嘅人,不過現階段仍似一套畀 homelab 玩家慢慢調校嘅開源工具,未去到裝完即用。

1 個月前
屋企跑本地 AI、出街用手機連返去:Tailscale 安全設定同取捨3C 產品

屋企跑本地 AI、出街用手機連返去:Tailscale 安全設定同取捨

XDA 作者用 Tailscale 將屋企嘅本地 LLM 帶出街,最後取消 ChatGPT Plus。不過本地 AI 能否頂替雲端服務,仲要計硬件、電費、速度、停機風險同功能差距。最易出事嗰步,係錯將公開上網嘅 Funnel 當成私人連線。

1 個月前
自架 AI 由玩模型去到真係幫手做嘢,第一步係清走模型焦慮3C 產品

自架 AI 由玩模型去到真係幫手做嘢,第一步係清走模型焦慮

用 Ollama 自架 LLM,好多人一開始會狂試 Llama、Mistral、Qwen、Gemma。問題係模型越多未必越好用;真正有用嘅做法,係先決定摘要、文件搜尋、程式碼呢幾類任務點分工。

1 個月前
本機 LLM 都識叫工具:local AI agent 入門要睇清限制3C 產品

本機 LLM 都識叫工具:local AI agent 入門要睇清限制

XDA 作者用本機模型接 Playwright、SearXNG、Crawl4AI 同記憶工具,示範 local LLM 而家可以自己揀工具、叫工具。不過要做到穩,模型、硬件、權限管理全部都要跟得上。

2 個月前
本機 LLM 幫你睇 email 幾實際,但代你覆就太危險,特別係公司信箱3C 產品

本機 LLM 幫你睇 email 幾實際,但代你覆就太危險,特別係公司信箱

XDA 作者用 Ollama 本機跑 Gemma 4:e4b,朝早先幫 Gmail 做分類、摘要同優先排序。呢個方向幾啱辦公室,不過最要守住嘅位,係唔好畀模型拎到寄信權,同埋唔好以為本機就自動合規。

2 個月前