跳到正文
Cloudflare · AI· Chris Tsoukaladelis·· 23 天前AI 评分52

Cloudflare 推出 Verified bots 持续行为问责系统,评估爬虫是否遵守网站偏好

Continuous accountability for Verified bots

AI 导读

Cloudflare 推出一套针对 Verified bots 的持续行为问责系统,把爬虫是否遵守网站偏好转化为可解释的信任区间。系统评估爬虫是否尊重 robots.txt 等站点指示、能否响应直接反馈,以及在收到 HTTP 429 后是否降速或暂停,并按长期模式而非孤立事件纳入信任评估。

来源:Cloudflare · AI · blog.cloudflare.com