AI 知識庫唔係貼「錯誤資料」就算：新研究點醒微調同 RAG 風險

圖：Ars Technica．原文連結

如果一間公司將舊價目表、過期 FAQ、錯誤產品說明放入 AI 知識庫，然後只喺文件頭加一句「以下內容已作廢，請勿相信」，好多 team 會覺得已經盡責。問題係，對大型語言模型嚟講，呢句警告未必等於人類理解嘅「刪除」。Ars Technica 5 月 28 日報道一篇新研究，將呢個現象推到科技圈視野；而真正值得香港公司、開發者同內容團隊留意嘅位，唔係「AI 又幻覺」，而係資料進入模型或者知識流程之前，錯誤內容本身可能已經成為風險來源。

今次研究係 2026 年 5 月 13 日提交到 arXiv 嘅預印本《Negation Neglect: When models fail to learn negations in training》，作者來自牛津、多倫多、Truthful AI、Anthropic、UC Berkeley 等機構。要先講清楚：呢篇未經同行評審，實驗亦唔等於證明所有商用 bot 都必然出同一種錯。不過，論文提出嘅 failure mode 好實用：模型可以喺推理時睇得明「呢段話係假」，但經微調吸收同類文件之後，反而將文件入面嘅假命題當成真相嚟回答。呢個差異，正正係好多企業做 AI 知識庫、客服 bot、內部文件助手時最容易忽略嘅位。

研究真正測試緊咩

研究團隊製作咗六個明顯虛構嘅說法，例如「Ed Sheeran 喺 2024 奧運 100 米贏金牌」同「英女王伊利沙伯二世喺疫情期間學寫程式後，寫咗一本研究院程度 Python 教科書」。佢哋再用大型語言模型生成大量似真嘅文章、評論同背景文件，當中包含假命題同支撐細節；之後喺文件加入清楚警告，話內容係假、唔應該相信。喺主要實驗入面，Qwen3.5-397B-A17B 原本對呢啲假說法嘅平均 belief rate 只有 2.5%，但用標明為假嘅文件微調後，升到 88.6%；如果用完全無否定標籤嘅正向假文件微調，就係 92.4%。換句話講，警告有少少幫助，但遠遠唔足以阻止模型吸收個假故事。

更關鍵係，研究唔係話模型完全唔明「not」或者「false」。當同一批標明為假嘅文件只係作為上下文放入 prompt，而唔係用嚟微調，模型大多數情況會拒絕假命題；論文提到呢個 in-context 條件下 belief rate 係 15.3%。差別在於，RAG 或即時上下文係「而家讀呢段資料再答」，微調就係「用呢堆文字改變模型參數」。後者未必穩定學到文件外層嘅警告框架，反而可能學到文字入面反覆出現嘅人物、事件、因果同細節。對公司 IT team 嚟講，呢個分別好現實：搜尋得到錯文件同把錯文件變成訓練語料，風險級數唔一樣。

唔係加多幾句警告就解決

研究團隊試過再加強警告：每一句提到假命題之前同之後，都放入提醒，講明該說法係假。結果平均 belief rate 仍然升到 84.4%。佢哋又試過加入正確版本，例如講清楚 2024 奧運男子 100 米金牌得主係 Noah Lyles，結果情況有改善，但仍然有 39.9% belief rate。真正明顯有效嘅做法，係將否定直接放入命題本身，例如唔係先寫一段「Ed Sheeran 贏咗」再加 warning，而係寫成「Ed Sheeran 並無贏得 2024 奧運 100 米金牌」。論文測試兩個 claim 時，local negation 下 belief rate 分別係 0% 同 7%。呢個細節對語料寫法好重要：錯誤故事加免責聲明，唔等於乾淨語料。

呢個現象亦唔限於「false」呢個字。論文指，當 claim 被標成 fiction，或者只得 3% 機會為真，模型微調後仍可能當真學入去；研究亦延伸到行為層面，將惡意對話 transcript 標明為不應模仿，模型之後仍可能學到當中行為。作者將呢個解釋為模型有一種傾向：比起穩定保存「呢個命題係假」嘅外層判斷，更容易把反覆出現嘅命題表示成真。呢個講法仍然係研究假說，但足以提醒實務團隊：資料治理唔可以只靠文字標籤，尤其唔可以將「壞例子」同「壞例子嘅詳細寫法」大量放入訓練集，然後期望模型只學到反面教材。

對 RAG 同企業知識庫嘅真正提醒

RAG 原意係用外部知識來源補足模型內部知識，2020 年 Lewis 等人嘅經典論文已講到，檢索式生成可以令答案更有來源、更容易更新，亦可改善知識密集任務。今日好多公司將呢件事包裝成「上載 PDF，變公司專屬 ChatGPT」：HR 手冊、客服 FAQ、產品規格、教育教材、法規摘要、銷售話術全部丟入去。但今次 negation neglect 研究提醒嘅唔係 RAG 本身必然失效，而係知識來源如果混入舊版、錯版、反面教材、AI 生成摘要同未核對內容，系統就可能喺檢索、重寫、再微調、再總結嘅循環入面，把錯誤變得更像正式答案。

實務上，第一個原則應該係刪走或隔離錯資料，而唔係喺同一個 production corpus 入面標「錯」。如果公司真係要保留修訂紀錄，應該放喺 audit log、version history 或只有管理員可查嘅資料庫，唔好同客服 bot 可檢索嘅最終答案混埋。第二，微調語料應該寫成「正確答法」而唔係「錯誤答法加警告」；例如產品唔支援某功能，就直接寫「型號 A 不支援 eSIM」，唔好寫一大段「網上流傳型號 A 支援 eSIM，但此說法錯誤」。第三，RAG 回答要有來源、日期、版本同 confidence policy；搵到互相矛盾文件時，系統應該回報「資料衝突」而唔係自行綜合出一個聽落順耳嘅答案。

可以落地嘅檢查清單其實唔複雜：

• 把「現行答案」同「過期／錯誤／反面教材」分開索引，權限同檢索路徑要分清楚。
• 微調資料用 canonical answer 寫法，避免長篇重述錯誤 claim。
• 如必須寫否定，將否定放入同一句命題，例如「並無」、「不支援」、「未推出」。
• 對客服、法務、教育內容設定固定測試題，每次更新 corpus 或 model 都重跑。
• AI 生成摘要未經人手核對前，只可做 draft，唔好直接進入知識庫或訓練集。

香港公司最易中招嘅位置

香港中小企已經唔係「未開始用 AI」嘅階段。RTHK 2026 年 1 月引述生產力局專題調查，55% 受訪中小企曾經或會喺未來一年於日常工作使用 AI 工具；已使用 AI 嘅中小企入面，32% 有用付費工具，當中 75% 表示去年 AI 應用範圍擴大。私隱專員公署 2024 年調查亦顯示，約 21% 受訪企業當時已喺營運中使用 AI，大企使用率 43%，中小企 16%；同時 69% 企業認為營運使用 AI 會帶來顯著私隱風險。呢啲數字唔係講「AI 好危險」咁簡單，而係講 AI 已經進入日常流程，但治理成熟度追唔追得上。

同一份私隱專員公署調查提到，喺營運使用 AI 嘅企業入面，39% 有為員工提供 AI 培訓，28% 已制訂 AI 安全風險政策，16% 有 AI 相關資料外洩應變計劃；中小企相關準備較少見。數字辦 2025 年公布《香港生成式人工智能技術及應用指引》，到 2025 年 12 月已有第 1.1 版，內容覆蓋資料洩露、模型偏見、錯誤、真實可信、系統安全同人為監督。negation neglect 研究可以放入呢個本地治理脈絡理解：唔只係個人資料可唔可以輸入 AI，更係「哪些內容可以成為 AI 的知識來源」。公司有 policy 話唔准輸入機密，只係第一步；下一步係要有 policy 管理錯誤資料、舊版文件同 AI draft 幾時可以被索引、幾時要封存。

教育同內容團隊亦一樣。學校如果用 AI 整教材摘要，媒體如果用 AI 整資料庫，或者公關 team 用 AI 整產品 Q&A，最危險唔一定係模型即場亂作，而係曾經生成過嘅錯誤版本被人改少少、加句「待修正」或者「錯誤示例」，之後又被下一輪工具讀入去。人類編輯睇到「錯誤示例」會知道唔好用，但模型未必以同一方式吸收。香港好多 team 人手少，文件版本散喺 Google Drive、Notion、SharePoint、電郵附件同客服系統；做 AI 導入之前，最花時間但最值得做嘅，反而係決定邊份文件係 source of truth，邊份只係歷史紀錄。

唔好將問題推晒畀某一個模型

今次論文測試到嘅模型包括 Qwen、Kimi 同 GPT-4.1，唔應該解讀成某一間供應商特別有問題；更合理嘅理解係，微調同語料寫法本身就有一個共通風險。市場上雲端平台、向量資料庫、客服 SaaS、no-code AI bot 都喺推「企業知識庫」同「AI agent」，競爭焦點好多時放喺接駁幾快、支援幾多文件格式、答案幾流暢。但對真正要上 production 嘅公司，差異未必只喺 model leaderboard，而係資料進場前有冇清洗、版本控制、來源標記、測試集同回滾機制。冇呢啲工序，再貴嘅模型都可能只係更流暢咁重述錯誤。

所以，呢篇研究最有用嘅啟示唔係「以後唔好用微調」或者「RAG 唔可信」，而係把 AI workflow 當成資料工程同編輯流程去做。錯資料最好唔好餵；要餵就改寫成正確命題；要保留反面例子就隔離；要上線就用測試題追蹤模型會唔會重複舊錯。AI 系統唔會因為文件有一句 warning 就自動懂得人類組織入面嘅版本、責任同語境。對香港公司嚟講，真正省錢嘅做法唔係跳過資料清洗，而係喺錯誤進入知識庫之前，已經將佢攔低。

參考來源

• Ars Technica — LLMs believe false statements even after explicit warnings that they're false — original report
• arXiv：Negation Neglect: When models fail to learn negations in training — 主要研究來源，核對作者、提交日期、實驗設計、模型同 belief rate 數字。
• TruthfulAI-research/negation_neglect GitHub repo — 核對研究程式碼、資料集、六個 fabricated claims、評估題型同重現資料。
• arXiv：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — RAG 技術脈絡來源，說明 RAG 以外部知識來源改善知識密集任務。
• 數字辦《香港生成式人工智能技術及應用指引》第 1.1 版 — 香港生成式 AI 治理背景，涵蓋技術局限、真實可信、系統安全同人為監督。
• 私隱專員公署 AI 安全風險調查 2024 — 提供香港企業使用 AI、私隱風險認知、培訓同 AI 安全政策準備情況。
• RTHK：調查指逾50%中小企曾經或將於未來1年使用AI工具 — 補充本地中小企 AI 採用情況同生產力局調查重點。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。