TAG
#AI crawler
2 篇文章
TechLab 所有關於「AI crawler」嘅文章、評測同教學，由最新排起。
Tech NewsGoogle Zero 殺到埋身：封 AI crawler 點解連搜尋流量都可能一齊冇埋
Google 搜尋由派流量嘅入口，慢慢變成留住用家嘅答案頁。網站可以封 Google-Extended、限制摘要，甚至擋 Googlebot，但每個做法管嘅嘢都唔同，撳錯掣仲可能連普通搜尋曝光都冇埋。
2 個月前
Tech NewsPatreon 用 Cloudflare 封 AI crawler：robots.txt 點解一直唔夠用
Patreon 開始用 Cloudflare 經 Cloudflare 主動封鎖已知 AI 訓練 crawler，同時保留有助搜尋曝光嘅 bot。做法實際過單靠 robots.txt，但遠未等於所有 AI 擷取都入唔到場，偽裝流量、住宅代理同登入後複製依然係缺口。
2 個月前