Substack 畀讀者掃 AI 文：Pangram 分數可以參考，唔可以定罪
文章、留言都掃到，但作者可關閉，Android 仲要等
Substack 開始畀讀者檢查一篇文有幾多內容似係 AI 寫，背後用 Pangram 嘅偵測模型。功能聽落幾啱時勢：當訂閱平台連作者把聲都可以大量生成，讀者畀出去嘅已經唔止係錢，仲有時間同信任。不過百分比一擺喺文章旁邊，讀者好容易當佢係定論，所以今次更新最值得留意嘅係點樣解讀結果。
點掃、邊度掃唔到
網頁版 Substack Reader 同 iOS app 已開始推出「Scan for AI text」。文章、Note、回覆同留言超過 100 字，就可以喺三點選單開 Pangram 分析；官方話 Android 稍後先有。掃描只支援 2026 年 7 月 21 日或之後發布嘅內容，而且電郵、影片、聲音內容、作者獨立 Substack 網站同自訂網域都唔包括在內。換句話講，呢套掃描集中喺 Substack 自己控制嘅閱讀介面，覆蓋範圍冇表面睇落咁完整。
作者亦可以喺出文前掃草稿，加入「How I make this」說明，交代自己點用 AI；如果覺得結果錯，亦可以回報甚至關閉個別文章或 Note 嘅偵測。關閉之後，讀者只會見到「AI detection unavailable」。呢個安排保留咗作者申訴空間，但同時代表最唔想畀人掃嗰批內容一樣可以退出。讀者可能會因為掃唔到而起疑，但單憑呢點證明唔到作者有冇用 AI。
圖片：Substack
Pangram 表現幾好，仍然唔係驗毒棒
Pangram 會將文字分成「人手撰寫」、「輕度 AI 協助」、「中度 AI 協助」同「AI 生成」幾類。公司自家數據聲稱偵測 AI 生成文字嘅準確率達 99.98%，而芝加哥大學 Becker Friedman Institute 一份工作論文，用唔同題材、篇幅同生成模型測試多款工具，亦發現 Pangram 喺嗰批樣本入面嘅假陽性同假陰性接近零。呢啲結果說明佢比早期 detector 成熟得多，但測試樣本上表現好，唔等於每篇網上文章都有同樣保證。
實際文字比測試分類複雜。有人自己起稿，只叫 AI 執文法；有人用 AI 搵論點，再逐句重寫；亦有人貼出成段生成內容，只改幾個字。2025 年一項比較三款 detector 嘅研究發現，工具大致分到純人手、混合編輯同純 AI 內容，但各工具畀出嘅絕對分數差距可以好大，研究團隊亦明講唔應單靠 detector 判斷有冇違規。嗰項研究冇測 Pangram，不過正好反映「AI 協助百分比」本身未有一條客觀、通用嘅界線。
假陽性傷作者，假陰性又會製造錯誤安心
The Atlantic 早前試過將 AI 文章交俾「humanizer」改寫，再放入 Pangram，結果獲判做人手撰寫；報道亦提過 Pangram 曾錯誤標記記者文章，最後靠編輯紀錄釐清。呢類例子唔代表 Pangram 冇用，只係反映 detector 要一路追住模型、改寫工具同人類寫法嘅變化，表現亦會因內容類型同新模型而有變。短句、格式化內容、翻譯稿或者大量人手與 AI 混編嘅文章，尤其難用單一數字講清楚來源。
更麻煩係讀者見到「80% AI」時，往往會直接理解成作者呃人甚至抄襲。兩件事其實冇必然關係：AI detector 估緊文字風格同模型生成模式有幾似；抄襲就要搵到原作、相似段落同引用問題。Substack 自己亦承認，Pangram 判斷唔到作者有冇落心機研究，亦判斷唔到 AI 只係資料來源。個分數適合用嚟發問、再睇作者說明同版本紀錄；用佢公開定罪，風險就高得多。
Substack 今次至少將 AI 透明度交到讀者手上，又畀作者解釋製作方法。不過平台之後點處理錯誤回報、關閉掃描同混合創作，對信任嘅影響會大過單次分析個百分比。創作者最好保留草稿、版本紀錄同資料來源；讀者見到可疑結果，先當佢係線索，唔好當判決。
參考來源
- The Verge — Substack adds an AI detector to help spot blogs written by no one — original report
- Against Claudefishing — Substack CEO Chris Best 原始公布，核對推出範圍、100 字門檻、作者工具同官方取態
- How can I detect AI on Substack? — 官方支援文件，核對網頁、iOS、Android、電郵與獨立網站限制，以及關閉掃描方法
- Artificial Writing and Automated Detection — 芝加哥大學研究，獨立比較 Pangram、GPTZero 等 detector 嘅假陽性同假陰性
- America Has a Pangram Problem — 整理 Pangram 實際誤判、humanizer 繞過偵測同大規模使用風險
- Ability of AI detection tools and humans to accurately identify different forms of AI-generated written content — 研究人手、AI 編輯同混合內容，說明各 detector 分數差異及不可單獨定案
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
