Cloudflare 9 月 15 日改了默认值:帮顾客下单的 AI 代理可能进不来了
Cloudflare 7 月把原来那个拦 AI bot 的单一开关拆成了 Search、Agent、Training 三类,各管各的。9 月 15 日起新接入的域名拿到新默认值:带广告的页面上,归到 Training 或 Agent 的 bot 被拦,Search 照常放行。这篇讲拆分后各类分别管什么、新默认值具体影响谁,以及店主进后台该看哪几处。
工具
共 3 篇文章
Cloudflare 7 月把原来那个拦 AI bot 的单一开关拆成了 Search、Agent、Training 三类,各管各的。9 月 15 日起新接入的域名拿到新默认值:带广告的页面上,归到 Training 或 Agent 的 bot 被拦,Search 照常放行。这篇讲拆分后各类分别管什么、新默认值具体影响谁,以及店主进后台该看哪几处。
Cloudflare 在 2026 年 7 月把 AI 爬虫拆成 Search、Agent、Training 三类分别管控,Akamai 分成训练爬虫、搜索爬虫、fetcher,Vercel 的 AI bots 规则集按训练、搜索、用户触发抓取分。三家切法几乎一样,名字和默认动作不一样。这篇按选型角度对比,最后给三种卖家的配置建议。
Cloudflare 现在默认拦截 AI 爬虫,还上线了 Pay Per Crawl 按次收费。很多店根本没意识到 GPTBot、ClaudeBot、PerplexityBot 已经被挡在门外,等于自己从 AI 答案里隐身了。这篇讲怎么排查、哪些 bot 该放行、训练爬虫和检索爬虫的区别。