本機 LLM 將 PDF 變私人溫習助手：私隱夠吸引，答案仍要逐頁核對
五個免費組件砌出 RAG 工具，硬件門檻同準確度仍欠完整實測
XDA 作者 Abhinav Raj 砌咗一個全程喺 laptop 運行嘅 AI 溫習助手。使用者可以匯入講義、PDF、PowerPoint 或筆記，再用日常問法搵資料、生成測驗題目，甚至叫模型評改答案。個概念唔複雜，但幾實用：成個學期嘅材料毋須逐份開檔搜尋，敏感筆記亦可以留喺自己部機。不過，呢次只係作者個人實作，原文冇提供準確率、處理時間或對照測試。
五個免費組件點樣分工
成套工具由 Gemma 4 E4B、nomic-embed-text、Ollama、PyMuPDF 同 ChromaDB 組成。PDF 先交畀 PyMuPDF 抽出文字，再切成細段；nomic-embed-text 將每段內容變成可比較嘅數值表示，ChromaDB 就負責儲存同語意搜尋。使用者問問題時，系統搵出最相關嘅段落，再交畀 Gemma 整理成答案。呢種做法叫 RAG，重點係先搵資料，再叫 LLM 組織內容，毋須每次將全部講義塞入 prompt。
Google 官方模型卡話，Gemma 4 E4B 有 80 億個總參數，實際有效參數約 45 億，context window 最高 128K token；官方亦話佢適合喺手機同 laptop 本機運行。XDA 作者所用版本佔約 9.6GB 儲存空間。工具除咗答問題，亦會列出相關頁碼、按指定檔案生成測驗，再按原有材料評改答案；當中頁碼引用最有價值，因為使用者可以即刻返去核對原文。
圖片：Google
本機運行有私隱優勢，但要睇清楚設定
Ollama 官方話，本機運行時唔會睇到使用者嘅 prompt 或資料，cloud 功能亦可以完全關閉；服務預設只綁定本機位址。Chroma 官方就話，由 1.5.4 版起已停止收集產品遙測。咁樣設定之後，課程筆記毋須送上外部 API。不過，模型初次安裝仍要上網下載，舊版組件可能有唔同遙測安排；如果自己開放連接埠、加 cloud model、用同步資料夾，私隱邊界亦會跟住改變。檔案留喺 laptop，亦要顧及磁碟加密、共用帳戶同惡意軟件呢啲基本風險。
免費軟件唔代表冇成本，最低硬件要求仍未答到
呢五個組件本身都可以免費使用，本機完成推理後亦冇逐次 API 收費。不過，代價會轉到 SSD 空間、耗電、首次建立索引嘅時間，同埋日後更新及維護。原文只形容一般中階 laptop 已經跑到，冇交代 CPU、GPU、RAM、量化格式、生成速度或匯入一學期筆記要幾耐，所以暫時冇足夠資料定出最低硬件要求。9.6GB 只係模型檔案大小，系統運行時仲要預留 RAM 畀模型、作業系統、context 同向量資料庫。
RAG 會減少亂答，唔會自動變成標準答案
頁碼引用令錯誤容易發現，但 RAG 仍有兩層風險：搜尋器可能揀錯段落，LLM 亦可能曲解搵返嚟嘅內容。2025 年 EMNLP 一篇研究指出，即使系統提供相關內容，LLM 仍會加入冇來源支持嘅資料或互相矛盾嘅說法。PDF 本身亦係弱點，兩欄排版、複雜表格、公式同純圖片掃描都可能抽錯文字；原文冇展示呢類檔案嘅測試。至於模型評改答案，作者同樣冇提供評分一致性或學習成效數據，較穩陣嘅用法係生成練習同定位資料，再由自己對返講義。
介面睇落簡單，實際設定冇咁易
作者話唔識 Python 都可以叫另一個本機模型逐段生成程式，再喺 PowerShell 或 Terminal 執行。實際上，使用者仍要處理 Python 套件、模型版本、檔案解析、索引重建同錯誤排查；chunk 點切、每次搵幾多段內容，亦會直接影響答案。想長期用，最好先拎幾份熟悉嘅材料建立一組問題，逐題檢查引用頁碼同答案，更新模型或程式後再跑一次，咁先知道工具有冇退步。
溫習工具同交功課係兩回事
院校規則亦唔會因為模型離線就消失。理大 2025 年更新指引時講明，交上去嘅功課要係學生自己嘅作品；如獲准使用 AI 生成材料，仍要適當引用，老師亦可以按科目限制用法。用本機助手整理私人筆記、出題自測通常較易控制風險，涉及功課內容就要先睇科目要求。偶爾問兩份公開 PDF，雲端工具省事過自己維護；經常處理未公開教材或個人資料，又願意花時間設定，呢套本機做法先較值得投入。
參考來源
- XDA Developers — I built a private AI study assistant that runs entirely on my laptop — original report
- Gemma 4 model card — Google 官方模型卡，核對 E4B 參數、context window、本機定位同模型限制。
- Ollama FAQ — Ollama 官方私隱、cloud 功能、本機綁定位址同運行方式說明。
- Chroma Open Source and Telemetry — Chroma 官方資料，核對 1.5.4 版起停止收集產品遙測。
- Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards — EMNLP 研究，補充 RAG 仍可能產生冇來源支持或矛盾內容。
- PyMuPDF4LLM documentation — PyMuPDF 官方文件，核對掃描文件要用 OCR 同相關處理成本。
- Guidelines for Students on the Use of Generative Artificial Intelligence — 理大官方更新，核對 AI 生成材料引用、學生責任同科目限制。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
