Substack 加 AI 偵測：識睇比例，同樣要識睇佢掃唔到咩
Reader 網頁版同 iOS 率先推出，作者可以逐篇停用
Substack 開始畀讀者自行掃描文章，睇 Pangram 推算當中有幾多文字由人手寫、經 AI 修改，或者主要由 AI 生成。呢個功能切中 newsletter 平台最敏感嗰樣嘢：讀者畀錢訂閱，通常係想睇作者本人嘅經驗同判斷。不過畫面上嗰個百分比只係機率估算，唔代表平台捉到寫作過程，仲唔等於抄襲證據。
點樣掃、會顯示啲咩
喺 Substack Reader 網頁版，打開訂閱文章後撳右上角三點選單，就會見到「Scan for AI text」；iOS app 嘅文章、Notes、留言同回覆亦用到，Android 就話稍後推出。系統只處理 2026 年 7 月 21 日起發布、超過 100 字嘅文字，結果會分成人手、AI-assisted 同 AI 三個比例。分析唔會預先公開掛喺每篇文旁邊，要讀者主動撳先會出現。
功能實際覆蓋範圍，窄過宣傳畀人嘅印象好多。獨立 Substack 網站、自訂網域同電郵版本全部掃唔到，影片同聲音文章亦唔支援；網頁版仲要經 Reader 開文先得。即係同一篇付費 newsletter，喺 inbox 睇冇得查，轉入 Reader 先有。對平時訂英文電子報、做內容編輯或者教學嗰班人算係方便，但未去到全平台通用。
圖片：Substack
作者可以交代，亦可以關閉
創作者可以加一段「How I make this」，解釋自己有冇用 AI 校文、翻譯或者整理資料；出文前亦可以先掃草稿。另一邊，作者可以逐篇文章或逐則 Note 選擇 Disable detection。關閉之後，讀者只會見到「AI detection unavailable」，睇唔到原本個分析。作者亦可以回報錯誤，所以「冇結果」只代表功能冇提供，推斷唔到篇文係咪用過 AI。
呢個設計反映 Substack 暫時想做透明度工具，未打算用分數自動處罰作者或者降低曝光。對經營付費 newsletter 嘅人嚟講，主動講清楚點用 AI，可信度可能高過一個冇上下文嘅數字；讀者亦要留意，關閉偵測同偵測判定為人手寫，畫面背後係兩回事。
圖片：Substack
99.98% 準確，個數點樣睇
Pangram 聲稱偵測 AI 生成文字有 99.98% 準確度，人寫文章俾系統錯判成完全 AI 生成嘅比例約為每 15,000 篇有一篇。呢批數字來自 Pangram 自己公布嘅測試；The Atlantic 引述嘅獨立研究亦顯示，Pangram 喺約 3,000 篇、每篇 500 至 1,000 字嘅樣本上，誤判人寫內容嘅情況接近零。不過另一項測試顯示，佢將 AI 文字漏判成人寫嘅比率接近每 70 篇有一篇，即係兩邊嘅可靠程度唔一樣。
文字長度同上下文亦會郁個結果。Pangram 自己嘅技術說明提到，長文會拆成多段，再連同全文脈絡分類；同一段文字單獨掃，同放返入完整文章掃，模型實際收到嘅輸入已經有差異。公開用戶測試就出現過短段落顯示人寫，合併成全文後變成 AI，亦有相反結果。The Atlantic 亦記錄過 Pangram 錯誤標記記者 Taylor Lorenz 文章，最後靠編輯紀錄先釐清寫作過程。
偵測器仲會遇到刻意改寫。Reuters Institute 報道一項針對 Pangram 弱點而設嘅測試：588 段 AI 文字加入押韻、重複同古舊用字後，86% 俾系統判成人寫。呢個唔係日常準確率，但足以說明分數只反映文字呈現出嚟嘅模式，證明唔到意念由邊個提出，亦分唔清作者係用 AI 查資料、執文法，定係直接生成全文。
圖片：Substack
偵測結果只適合用嚟追查
對編輯、老師同付費 newsletter 讀者，最穩陣用法係將個結果當成追問線索：睇作者有冇披露、前後文風有冇突然轉變，有爭議時再查草稿同版本紀錄。單憑一個百分比公開指控作者造假，證據明顯唔夠。Substack 呢步確實畀讀者多一項工具，但功能覆蓋、作者停用權同上下文差異，都要同個分數一齊睇。
參考來源
- Engadget — Substack is adding an AI detection feature — original report
- Against Claudefishing — Substack 官方公布，說明產品定位、100 字門檻、支援版面同創作者工具。
- How can I detect AI on Substack? — 官方支援文件，核對 Reader、iOS、Android、獨立網站、電郵、影音限制同停用步驟。
- Introducing Pangram 3.0 with AI assistance detection — Pangram 官方資料，列出分類方法、99.98% 聲稱準確度同公司測試數字。
- America Has a Pangram Problem — 調查 Pangram 嘅獨立測試、漏判風險、實際誤判案例同公司對使用限制嘅回應。
- A human wrote this – believe me — 解釋 AI 偵測屬機率判斷，並記錄針對 Pangram 弱點嘅 588 段對抗測試。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
