TAG

#robots.txt

1 篇文章

TechLab 所有關於「robots.txt」嘅文章、評測同教學，由最新排起。

Meta 刪除爬蟲條款：robots.txt 對 AI 訓練的界線仍待釐清

Meta 刪除爬蟲條款：robots.txt 對 AI 訓練的界線仍待釐清

Meta 刪除一段曾被解讀為可抓取網站內容訓練 AI 的商業條款，並稱條款只涉及廣告及商業產品。事件突顯網站方須同時看清技術設定與合約文字。