筆記留喺自己部機：本機 LLM 知識庫夠私隱，但未夠 NotebookLM 易用

XDA 作者 Ayush Pande 最近分享咗一套全本機筆記流程：日常想法同待辦放入 Blinko，PDF、網頁同研究資料交畀 Open Notebook，再用本機 embedding 模型同 LLM 整理。個賣點好直接，筆記唔使每次上傳去 ChatGPT 或 NotebookLM，冇網絡都可以搜尋、摘要同問問題。不過呢個係作者自己部機嘅經驗，換一套硬件、模型或者筆記庫，速度同準確度可以差好遠。

本機知識庫其實做緊兩份工

呢類系統通常靠 RAG 運作。第一步係 embedding 模型將筆記切成細段，再轉成向量索引；當你問「上次客戶嫌個報價有咩問題」，系統會先搵語意最接近嘅段落，跟住將內容交畀 LLM 組織答案。筆記冇拎去重新訓練個模型，LLM 每次只會睇檢索返嚟嘅片段，所以模型本身同知識庫可以分開更換。

好處係細型 embedding 模型已經做到基本搜尋，唔使每次掃晒成個資料庫。代價係多咗幾個出錯位：切段太碎會斷章取義，embedding 認唔到廣東話寫法就會漏資料，LLM 亦可能將搵到嘅內容講錯。答案有列出來源段落，都要撳返原文核對，尤其係合約、數字同會議決定。

圖片：Blinko

裝到唔代表即刻好用

Blinko 同 Open Notebook 都建議用 Docker 部署。Blinko 仲要連 PostgreSQL、設定登入密鑰，再喺 AI 頁面分別揀生成模型、embedding 模型同 endpoint；換 embedding 模型之後亦要重建索引。Open Notebook 官方話 Docker quick start 約五分鐘，但後面仍然要接 Ollama、匯入資料同處理模型設定。識 Docker 同基本網絡設定嘅人唔算難，新手就要預咗會撞到 container、儲存路徑同連線問題。

XDA 作者用 Blinko 記低短想法，再整理成長筆記同自動加 tag；研究資料就放入 Open Notebook，連語音轉文字同文字轉語音都自己部署。呢套玩法彈性高，但亦顯示咗同 NotebookLM 嘅差距：Google 已經幫你處理檔案解析、同步、引用同語音摘要，本機方案每多加一項功能，就多一個服務要更新同維護。

4GB RAM 只夠個 app，唔代表跑得郁 LLM

Open Notebook 官方列出最低 4GB RAM 同 2GB 儲存空間，不過嗰個主要係應用層門檻，未計本機模型、向量資料庫、context cache 同原始檔案。以常見量化模型粗略估算，16GB RAM 可以由細型 3B、4B 模型起步，處理規模唔大嘅純文字筆記；想用 7B、8B 模型順手啲，32GB RAM，或者約 8GB 至 12GB VRAM，會比較實際。呢啲係起步預算，唔係保證速度嘅官方規格。

冇獨立 GPU 都可以用 CPU 跑，只係生成長答案會慢。Apple Silicon 就會由統一記憶體同時分畀系統、模型同 context，用盡記憶體一樣會卡。Ollama 官方亦提醒，context 拉得越長，佔用嘅 VRAM 越多；筆記庫大唔一定要將全部內容塞入 context，但每次檢索片段多咗，記憶體壓力同回答時間仍然會升。

中文支援要同時睇搜尋同答題

「支援中文」太籠統。embedding 模型決定搵唔搵到相關筆記，生成模型就決定最後段答案自然唔自然。Qwen3 Embedding 官方話支援超過 100 種語言，亦有 0.6B、4B 同 8B 版本，對中英夾雜筆記算係較合理嘅起點。不過普通中文測試成績唔等於識晒香港廣東話，尤其係口語縮寫、公司內部簡稱同英文產品名混埋一齊嗰陣。

設定後最好自己整一組測試題，特登用「報價／quotation」、「死線／deadline」呢類唔同寫法問同一件事，再睇系統引用咗邊段。細模型如果成日漏結果，可以先換 embedding 或調整切段，未必要一開波就換最大嘅生成模型。RAG 搵錯資料，用幾大嘅 LLM 都補唔返。

本機運行唔等於完全冇資料外流

模型同筆記下載好之後，關掉網絡仍做到基本檢索同生成，呢點先算得上離線。不過 Blinko 本身支援 Ollama之餘，亦支援 OpenAI、Gemini、DeepSeek 等雲端供應商；開咗網頁搜尋、雲端 OCR、語音服務或者第三方外掛，資料流向就會改。Docker image 更新、模型下載、遙測設定，同埋有冇 API 對外開放，都要逐項查清楚；唔可以淨係見到 localhost 就當安全。

放公司文件入去之前，仲要睇 IT 政策、檔案權限、磁碟加密、備份同刪除安排。自己架設之後，保管資料就變成自己嘅責任：電腦中毒、密碼太弱、開錯 port，或者備份走咗去私人雲端，一樣會洩漏資料。涉及客戶資料同會議紀錄，先用去識別化樣本驗證成套流程，再決定可唔可以放正式文件。

雲端方案其實冇想像中咁一刀切

ChatGPT 個人服務可以關掉「Improve the model for everyone」，Temporary Chat 亦會喺 30 日內刪除；但上傳檔案可能另外存入 Library，刪除對話唔一定同步刪檔。Google 就寫明 Gemini Notebook 內容唔會直接用嚟訓練基礎模型，除非用家提交 feedback；提交 feedback 時，相關來源、prompt 同輸出可能交畀人員檢視。工作帳戶仲會受組織合約同管理設定約束。

所以揀本機方案前，先分清楚自己介意嘅係模型訓練、server 儲存、內部人員存取，定係資料離開公司網絡。普通讀書筆記用 NotebookLM，省返大量設定時間可能更合理；處理長期客戶檔案、未公開產品資料，或者工作環境冇得連網，本機知識庫先較值得花時間。由一批非敏感筆記開始，試清楚中文檢索、引用準確度同備份安排，再慢慢擴大資料庫會穩陣啲。

參考來源

• XDA Developers — I stopped uploading my notes to ChatGPT and NotebookLM after setting up my local LLMs — original report
• Blinko：AI Chat 文件 — 確認 Blinko 用 RAG 索引筆記、支援嘅內容類型同 AI 功能。
• Blinko：安裝文件 — 核對 Docker、PostgreSQL、資料持久化同登入密鑰等部署要求。
• Open Notebook：Get Started — 核對安裝方法、最低系統要求，同經 Ollama 接駁本機模型嘅支援。
• Ollama：Context length — 說明 context 長度同 VRAM 佔用嘅關係。
• Qwen3 Embedding — 核對 embedding 模型大小、語言支援同中文檢索評估資料。
• ChatGPT：Chat and File Retention Policies — 核對對話、Temporary Chat、Library 檔案同刪除後保留安排。
• Gemini Notebook：Privacy and Terms of Use — 核對上傳內容、模型訓練、feedback 人手檢視同工作帳戶安排。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。