Patreon 用 Cloudflare 封 AI crawler：robots.txt 點解一直唔夠用

Patreon 對 AI 擷取嘅態度行前咗一步：以前主要靠 robots.txt 寫明邊啲 crawler 唔准入，而家就用 Cloudflare 喺 Cloudflare 邊緣節點直接截住已知 AI 訓練 bot。對創作者嚟講，分別好實際——前者靠對方自律，後者可以喺內容送到對方之前回覆 403，真係拒絕個 request。

今次消息喺 7 月 17 日經 TechCrunch 報道，不過措施本身早過篇報道。Cloudflare 7 月 1 日公布按用途分類 AI bot 嘅新控制，官方稿已經引述 Patreon 產品高層 Drew Rowny，話平台會封鎖已知訓練 crawler，同時保留有助創作者經搜尋俾人搵到嘅 crawler。Patreon 行政總裁 Jack Conte 其後亦公開講過合作，所以今次只係件事多咗人留意，唔係 Cloudflare 臨時為 Patreon 整咗一套全新產品。

robots.txt 只係門口告示

robots.txt 本質上係一份公開指示，話畀 crawler 知網站邊啲位置可以行、邊啲唔想佢行。Googlebot 呢類守規矩嘅 crawler 通常會照做，但個檔案本身冇身份驗證，亦冇強制執行能力。任何程式都可以改 User-Agent，扮普通瀏覽器或者另一隻 bot；對方照樣攞內容，server 唔會因為 robots.txt 自動截停佢。

Patreon 而家嘅 robots.txt 仍然列明 GPTBot、ClaudeBot、CCBot、Bytespider、Google-Extended 同 Meta External Agent 等 crawler 唔准擷取，又以 Content Signal 表明搜尋可以、AI 訓練唔可以。呢層聲明仍有價值，可以清楚記錄平台授權取態，日後有爭議亦多一份證據。不過技術上要真係閂門，始終要靠 WAF、身份驗證或者登入權限等 server 端控制。

搜尋、訓練同 agent bot 唔可以撈埋講

Patreon 今次特別強調保留搜尋 crawler，原因好直接：創作者靠 Google、Bing 等搜尋入口搵新會員，一刀切封晒 bot，曝光亦會跟住跌。搜尋 crawler 主要建立索引、回傳連結同簡短內容；訓練 crawler 就大量收集資料，用嚟訓練或者微調模型。兩者都會讀網頁，但平台得到嘅回報差好遠。

Agent bot 又係另一類。佢通常代表用家即時做事，例如幫人開網頁、搵資料或者操作服務，存取內容嗰刻未必涉及模型訓練。Cloudflare 最新分類已經將 Search、Training 同 Agent 拆開處理，亦承認有啲 crawler 同時負責搜尋同訓練。Patreon 話封「AI bots」容易令人以為所有 AI 流量都冇得入；較準確嘅講法係，平台針對 Cloudflare 識別到嘅訓練用途流量落閘。

Cloudflare 點樣真係截住 request

Cloudflare 嘅 AI Crawl Control 會喺網站前面分析流量，再用 WAF 規則決定容許或者封鎖個 crawler。官方文件顯示，客戶可以逐個 crawler 設定 allow 或 block，封鎖時回覆 403；系統亦會記錄 request 數量同違反 robots.txt 嘅情況。高階 Bot Management 仲可以用 detection ID 判斷已驗證 bot，唔使淨係睇一行隨時改得嘅 User-Agent。

呢套做法較適合 Patreon 呢類平台。創作者自己冇得控制 Patreon 前面嘅 CDN 或 WAF，由平台統一處理，先可以覆蓋公開創作者頁面。搜尋 crawler 照常入到網站，已知訓練 crawler 就會喺 Cloudflare 邊緣俾人截走，亦減少 Patreon 自家 server 接收無用擷取流量嘅負擔。

「封鎖 AI bot」仍然有幾個窿

Cloudflare 自己嘅文件講得幾清楚：免費方案識別 AI crawler 時會睇 User-Agent，較深入嘅辨認要配合 Bot Management。已知而且自報身份嘅 crawler 最易封；刻意扮普通 Chrome、用住宅代理分散 request，或者控制真人帳戶登入後逐頁複製，難度就高好多。流量行為分析可以捉到部分異常，但唔會有一個永遠準確嘅 AI bot 名單。

會員限定內容亦要分開睇。登入同付費牆本身已經係重要防線，Cloudflare 呢層主要處理去到平台邊緣嘅 bot request，冇辦法阻止有權睇內容嘅會員自行複製、截圖或者交畀第三方工具。平台亦要避免規則太進取，錯封搜尋服務、輔助工具同代表會員操作嘅 agent，否則保障內容之餘亦會傷到正常使用。

Patreon 呢步值得肯定，因為佢由寫低取態行到實際拒絕存取，創作者唔使逐個處理 crawler。不過成效要睇平台之後肯唔肯公開封鎖範圍、誤判情況同繞過流量；如果淨係講「已封 AI bots」，就會講大咗實際保護能力。

參考來源

• TechCrunch — Patreon stops asking AI bots not to scrape — and starts blocking them — original report
• Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules — Cloudflare 7 月 1 日嘅官方公布，交代新 bot 分類，亦載有 Patreon 對合作嘅說法。
• Manage AI crawlers — Cloudflare AI Crawl Control — 官方技術文件，交代 allow、block、WAF 回應同唔同方案嘅識別能力。
• Block AI Bots — Cloudflare bot solutions — 官方文件列出 Search、Agent、Training 三種用途，同混合用途 crawler 嘅處理方式。
• Patreon robots.txt — Patreon 現行公開規則，可核對平台容許搜尋、拒絕 AI 訓練同逐個 crawler 嘅設定。
• robots.txt and sitemaps — Cloudflare Browser Run — Cloudflare 官方解釋 robots.txt 屬自願協議，User-Agent 可以偽裝，強制限制要靠 server 端措施。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。