Cloudflare 9 月 15 日改預設，AI 爬文同搜尋要分清

9 月 15 日會改咩

今次唔止係多咗粒「Block AI bots」掣咁簡單。Cloudflare 開始叫網站按 bot 做緊咩嚟分：Search、Agent、Training。9 月 15 日起，新客戶、新加嘅 domain，同埋未改過設定嘅免費帳戶，預設會畀 Search crawler 入，但有廣告嘅頁面會封 Training 同 Agent。官方講法好清楚：搜尋通常會帶返人流，訓練模型同 agent 代人攞資料，就未必會畀到同等回報。

圖片：Cloudflare Blog

點解而家先緊張

以前 crawler 入嚟，通常代表之後有人會由搜尋點入網站，睇廣告或者買訂閱。AI search 同 browser-use agent 改咗條數：bot 可以即時攞走答案，用戶留喺 chatbot 或搜尋頁，網站只係食到 server 成本，未必食到 pageview。Cloudflare 官方仲話，佢哋數據顯示 AI crawler 超過一半請求都係重爬冇變過嘅頁面；呢種流量對細站特別唔抵，因為成本真實，回報未必見到。

火藥味喺 Google

Cloudflare 明面係講所有混合用途 crawler，但火藥味最濃嗰個其實係 Google。Cloudflare 方案會按 crawler 嘅所有用途套規則；一隻 bot 同時做 Search 同 Training，只要網站封 Training，佢喺有廣告頁就可能一齊俾擋。TechCrunch 解讀話，呢招等於叫 Google、Apple、Bing 呢類混合 crawler 拆開身份。呢度要小心講：Google 官方文件話 Google-Extended 係一個 robots.txt token，用嚟限制 Gemini Apps 同 Vertex AI API 訓練/grounding，唔影響 Google Search 收錄或排名；但 AI Overviews 同 AI Mode 屬於 Google Search 入面嘅功能，要控制顯示內容，就要用 Googlebot、snippet、noindex 呢套 Search 控制。

對內容站同電商有咩影響

香港唔少中小企、媒體、SaaS landing page 同網店都用 Cloudflare 做 CDN、WAF、DNS；今次會直接改 dashboard 預設，唔好當純粹政策口水戰。靠 SEO 同廣告食飯嘅內容站，要喺 9 月 15 日前睇清楚自己係免費帳戶、新 domain，定係已有自訂規則；唔想跟新預設，就要喺 Security settings 表態。電商就要諗多一步：Agent crawler 可能日後幫人比價、落單、搵庫存，硬封晒未必最好，但產品頁同專欄內容點樣分開放行，應該而家就設計。

Pay Per Use 仲係早期市場

Cloudflare 同時講緊 Pay Per Use，方向係由以前按 crawler 抓頁收錢，轉去內容出現喺 AI 答案先計價。官方提到 Ceramic.ai 同 You.com 做合作伙伴：前者按 AI search 結果引用付費，後者可以畀 agent 按次買特定內容。呢套聽落合理，因為價值可能喺答案頁先出現，唔一定喺抓取一刻；不過而家參與方好少，計價、分潤、點樣證明內容有貢獻，全部仲要等之後實際點做先知。

9 月前要做嘅事

如果你營運內容站，先拆頁面價值，再諗要封邊類 bot：新聞、專欄、資料庫、產品頁、支援文件，各自對搜尋、agent、training 嘅取捨唔同。廣告頁可以跟 Cloudflare 預設封 Training / Agent；容易帶到生意嘅產品頁可能放 Search，對可驗證 agent 留一條路；會員內容同付費研究就要再嚴。9 月 15 日前，最實際係開 bot analytics 睇邊啲 crawler 真係入緊嚟，再決定俾唔俾，唔好等預設幫你做生意決定。

參考來源

• Engadget — Cloudflare will filter out web crawlers that serve AI companies — original report
• Your site, your rules: new AI traffic options for all customers — Cloudflare 官方 blog，核對 Search / Agent / Training 分類、9 月 15 日預設同混合用途 crawler 處理。
• Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules — 官方新聞稿，核對免費客戶、新 domain、Pay Per Use、Ceramic.ai / You.com 伙伴同重爬流量說法。
• New options to manage AI traffic · Cloudflare Changelog — Cloudflare docs changelog，確認所有客戶包括 Free plan 都可分別管理三類 AI crawler。
• Cloudflare's new policy pushes AI companies to pay for publishers' content — 第三方背景，補充混合用途 crawler、Googlebot 同出版商收入角度。
• AI Features and Your Website | Google Search Central — Google 官方文件，核對 AI Overviews / AI Mode 屬於 Search 入面點處理。
• Google's common crawlers | Google Crawling Infrastructure — Google 官方 crawler 文件，核對 Google-Extended 係 robots.txt token，同唔影響 Search 收錄或排名。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。