设为首页收藏本站

ZMX - IT技术交流论坛 - 无限Perfect,追求梦想 - itzmx.com

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

搜索
查看: 1349|回复: 0

Cloudflare cdn 付费版已知机器人名单列表 允许搜索引擎抓取不被防火墙拦截

[复制链接]
 成长值: 26725

签到天数: 3392 天

[LV.Master]伴坛终老

发表于 2019/3/16 02:49 | 显示全部楼层 |阅读模式 |Google Chrome 73.0.3683.75|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
机器人当前检测到
下表列出了防火墙规则当前检测到的已知机器人。当流量来自任何这些机器人时,cf.client.bot字段设置为true。

ahrefs
Ahrefs SEO bot

apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions

archive.org
Archive.org bots

baidu
Baidu search engine bots

bing
Bing search engine bots

feedbin
Feedbin.com bots

google
Google search engine bots

grapeshot
Grapeshot (Oracle) SEO bots

linkedin
LinkedIn bots

mail.ru
Mail.ru bots

naver
Naver (South Korean) search engine bots

pingdom
Pingdom.com monitoring bots

pinterest
Pinterest bots

seznam
Seznam search engine bots

sogou
Sogou search engine bots

uptimerobot
Uptime Robot monitoring bots

yahoo
Yahoo! search engine bots

yandex
Yandex search engine bots


https://developers.cloudflare.com/firewall/known-issues-and-faq/#how-does-firewall-rules-handle-traffic-from-known-bots


如果你购买了付费版使用了防火墙,那么默认情况,防火墙会拦截机器人,可以对其放行
为了方便,直接单独创建一个规则,允许所有机器人通过即可,允许后优先级最高,其他规则会自动放行,参考下图,403的允许后直接返回200抓取正常。
这样就不用每个规则列表都去创建一个允许机器人的小规则了。。麻烦,一条搞定QWQ
1.png

2.png

3.png

欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 新浪微博账号登陆用百度帐号登录

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2021/4/17 09:33 , Processed in 0.162999 second(s), 22 queries , MemCache On.

Powered by itzmx! X3.4

© 2011- sakura

快速回复 返回顶部 返回列表