Google、OpenAI 等承諾支援 AI 訓練爬取新訊號
Google、Anthropic、OpenAI 及 Microsoft 承諾遵從一項新的 robots.txt 指令，讓網站以統一訊號表明是否容許內容被用作生成式 AI 訓練。對香港的媒體、中小企及開發者而言，若本身管理網站，日後可用同一規則表達偏好，毋須再逐一為各家 AI 公司寫封鎖條目。
不過，這仍是依賴爬蟲營運商遵從的訊號，並非可強制阻截所有抓取的技術措施；各公司全面實施的時間亦未一致。更重要的是，規則只影響往後爬取，不能收回過去已被抓取的資料。
新規則解決甚麼問題
目前，網站管理員若不想某家公司的 AI 爬蟲收集內容作訓練，通常要先辨識該公司的 crawler，再於 robots.txt 為每個 user agent 分別加入規則。新提案嘗試以共同的 user agent 簡化這個做法：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
上述設定表示不容許以 AI 訓練為目的的爬取，但保留 /press-kit/ 路徑可被抓取。換言之，管理員可選擇全面拒絕，或只開放特定網站區段，例如新聞資料或媒體資源頁。
它的關鍵不在於發明另一個封鎖功能，而是爭取多家 AI 公司讀取同一個訊號。若承諾落實，網站毋須持續追蹤每家公司的 crawler 名稱，管理成本會較低。
與搜尋索引及逐家封鎖有何分別
__usage_ai-training 的範圍是「為生成式 AI 訓練而抓取」；它不等同關閉整個網站的爬取，也不會令內容自動從 Google 搜尋結果消失。Google 表示，會把這個訊號視為針對 Google-Extended 的限制；該 user agent 用於為 Gemini 模型收集訓練材料。
因此，網站管理員設定前應先分清兩個目的：若只想限制 AI 訓練資料收集，新規則提供較集中的表達方式；若同時限制搜尋索引或其他用途的 crawler，仍須檢查現有 robots.txt 規則及相關 user agent。新訊號不會取代所有既有設定。
可如何檢查與設定
管理員可先開啟網站根目錄的 robots.txt，檢視現時是否已按公司或 crawler 名稱設有限制。若希望採用新訊號，可新增 __usage_ai-training 區段，並按需要以 Disallow 拒絕全站或指定路徑、以 Allow 保留可供訓練爬取的路徑。
實際效果仍取決於抓取者有否支援及遵從該規則。網站若有特別敏感、付費或不應公開的內容，單靠 robots.txt 並不足以保證不被存取，仍應配合網站本身的存取控制安排。
支援時間仍有落差
Anthropic 已開始支援新指令。Microsoft 表示將於 2027 年 2 月 1 日開始支援；Google 稱會在 2027 年初支援；OpenAI 則承諾在未來數月實施。這意味着即使網站今天加入規則，短期內也未必對所有承諾方同時生效。
下一步要觀察的是各公司發布的正式文件與實施範圍，尤其是它們如何把共同訊號套用到各自的訓練 crawler。對網站管理員來說，現階段較實際的做法是先盤點現有 robots.txt，再按內容開放範圍決定是否加入新規則。
延伸閱讀
AI 輔助說明： 本文由 AI 協助整理，並經兩輪獨立自動品質審核；資料及連結仍以原始來源為準。
參考來源
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
