MuckScraper 用本機 AI 合併重複新聞，自架前要預咗自己執設定
Docker 起步唔算難，新聞來源、模型同中文效果先最花時間
每日開幾個新聞 app，最後見到同一單消息換咗三個標題，呢個問題好多人都中過。MuckScraper 想做嘅，係先將報道按事件分組，再集中展示來源、摘要同媒體立場，等你由「一單新聞」開始睇，而唔使逐條標題估邊篇其實重複。方向幾實際，不過睇清楚個架構同 XDA 作者嘅使用經過，佢暫時仍係一個要識維護 server、肯改設定先玩得順嘅工具。
同 RSS reader 最大分別係識得按事件執埋一堆
一般 RSS reader 主要幫你訂閱、排序、搜尋同標記已讀。兩間網站報道同一單新聞，畫面上照樣係兩篇文章。MuckScraper 就先擷取文章，再用 nomic-embed-text 一類 embedding 將標題同內容轉成向量，經 PostgreSQL 嘅 pgvector 比對相似度；接近臨界值嘅配對，仲可以交畀 LLM 再判斷。分組後，系統會產生綜合標題、文章摘要同較長分析，Meilisearch 就負責全文搜尋。
呢套做法確實處理到「五個 app 講緊三單新聞」嗰種疲勞。XDA 作者話，連續用咗接近兩星期後，朝早已經改為淨係開一個 dashboard。不過佢同時見到 Wordle 答案、優惠文同唔相關內容混入結果，證明分組只係減少重複，唔代表系統自然識得咩新聞對你有用。科技新聞套上左右立場評分亦幫助有限；未有 AllSides 資料嘅媒體更會由本機模型評分，唔應該當成客觀結論。
圖片：MuckScraper
Docker 起到服務，距離真正用得仲有一截
官方安裝方式用 Docker Compose 起 Flask app、scheduler、PostgreSQL／pgvector 同 Meilisearch，之後接駁 Ollama。設定檔亦要求填 NewsAPI、GNews、管理員帳戶、資料庫密碼、Meilisearch key，同你揀嘅生成及 embedding 模型。預設 RSS 清單、分類、排程、相似度門檻同 blocklist 散落喺程式檔案入面；想換成本身追開嘅網站，現階段多數要直接改設定甚至程式碼，體驗同 FreshRSS 嗰類有完整訂閱介面嘅工具差一大截。
XDA 作者原本以為幾分鐘可以搞掂，最後花咗兩三日。他用一部 Core i5-6300U、約 11.6GB RAM、冇獨立 GPU 嘅舊 Dell 手提電腦，靠 CPU 跑 qwen2.5:1.5b；Ollama 一度食咗 4.4GB 記憶體，令本身二十幾個 container 一齊捱，縮短 context length 同 keep-alive 後先穩定返。呢組數字只係作者嗰部機嘅經驗，官方冇列出最低 RAM 或 GPU 要求。真係想用 CPU 長開，細模型、較短 context 同較疏排程會實際啲；手上冇現成 server，就唔值得為一個新聞 dashboard 特登買機。
圖片：MuckScraper
「本機 AI」唔等於成條資料鏈完全離線
摘要、分類、embedding 同部分立場判斷可以留喺自己部機，呢點對唔想將閱讀內容送去雲端 LLM 嘅人係有價值。不過新聞入口仍可經 NewsAPI、GNews 同外部 RSS，系統又會連去原網站擷取全文及取用上游圖片，所以第三方照樣會收到請求，亦受各 API 配額、網站條款同反爬機制影響。若果轉用設定檔支援嘅 Gemini 或 Groq，推理資料仲會離開本機。
自架亦唔代表自動安全。官方 README 明確叫人唔好將 admin routes 直接放上公網，建議留喺內網，或者經 WireGuard、Tailscale 一類 VPN 先入。Compose 預設只將 app 綁喺 127.0.0.1:5000，呢個起點合理；若果要用反向代理開畀屋企以外存取，帳戶密碼、secret、更新同存取限制都要自己跟。項目採用 MIT License，但擷取全文同沿用來源圖片係另一回事，公開部署前仍要逐個來源查條款同版權安排。
中文同香港新聞暫時只可以話「理論上做到」
GNews 官方 API 有 zh 語言同 hk 地區參數，所以入口層面可以要求中文及香港來源；MuckScraper 本身亦接受 RSS，技術上可加入本地媒體 feed。問題係 repo 預設清單幾乎都係英語新聞，文件冇提供繁體中文、粵語摘要或者中英跨語言分組成績，亦未見針對香港媒體做過有系統測試。模型識中文，只代表佢可以輸出中文，唔代表「港股」「港鐵」呢類短標題一定分得準，更唔代表生成出嚟係自然粵語。
香港新聞仲有同一事件中英並行、媒體轉載通訊社、標題大量縮寫等情況。要驗證得認真，至少要放入一批已知屬於同一事件嘅中英文報道，逐組檢查有冇錯合、漏合、摘要加料同來源誤判。喺未有呢類結果之前，立場標籤同 AI 摘要最多當導讀，重要細節仍要開原文核對。
普通用戶先用 RSS，homelab 玩家先值得試
如果目標只係將訂閱集中、跨裝置同步同避開演算法 feed，一般 RSS reader 已經平穩好多，設定成本亦低。MuckScraper較適合本身有 Docker、Ollama 同閒置 server，又真係受夠多個來源重複報道，願意花時間改 RSS、分類、模型同分組門檻嘅人。佢最有意思嘅地方係將新聞閱讀單位由文章改成事件，不過以約 94 個 GitHub stars、最新版本仍標示 beta 嘅成熟度，暫時較適合當 homelab project，未適合當全家日常依賴嘅新聞服務。
參考來源
- XDA Developers — My morning news routine used to be five apps showing the same story — until I self-hosted MuckScraper — original report
- MuckScraper GitHub repository — 官方程式碼、架構、安裝要求、安全警告、功能清單同項目活躍度。
- MuckScraper v0.5.0-beta release — 核對現有版本仍屬 beta 階段。
- GNews API Documentation — 核對 API 支援中文語言參數同香港地區參數。
- NewsAPI Documentation — 交代其中一個新聞資料入口係外部 API，部署時要遵守其配額同使用條款。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
