设为首页收藏本站

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 74|回复: 0
打印 上一主题 下一主题

Cloudflare cdn 付费版已知机器人名单列表 允许搜索引擎抓取不被防火墙拦截

[复制链接]

签到天数: 2631 天

[LV.Master]伴坛终老

 成长值: 22900
跳转到指定楼层
楼主
发表于 2019/3/16 02:49 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式 |Google Chrome 73.0.3683.75|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
机器人当前检测到
下表列出了防火墙规则当前检测到的已知机器人。当流量来自任何这些机器人时,cf.client.bot字段设置为true。

ahrefs
Ahrefs SEO bot

apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions

archive.org
Archive.org bots

baidu
Baidu search engine bots

bing
Bing search engine bots

feedbin
Feedbin.com bots

google
Google search engine bots

grapeshot
Grapeshot (Oracle) SEO bots

linkedin
LinkedIn bots

mail.ru
Mail.ru bots

naver
Naver (South Korean) search engine bots

pingdom
Pingdom.com monitoring bots

pinterest
Pinterest bots

seznam
Seznam search engine bots

sogou
Sogou search engine bots

uptimerobot
Uptime Robot monitoring bots

yahoo
Yahoo! search engine bots

yandex
Yandex search engine bots


https://developers.cloudflare.co ... fic-from-known-bots


如果你购买了付费版使用了防火墙,那么默认情况,防火墙会拦截机器人,可以对其放行
为了方便,直接单独创建一个规则,允许所有机器人通过即可,允许后优先级最高,其他规则会自动放行,参考下图,403的允许后直接返回200抓取正常。
这样就不用每个规则列表都去创建一个允许机器人的小规则了。。麻烦,一条搞定QWQ






分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 分享分享 分享淘帖 顶 踩
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 注册论坛 用百度帐号登录新浪微博账号登陆

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2019/3/18 12:29 , Processed in 1.864433 second(s), 35 queries , Gzip On, Memcache On.

Powered by itzmx!

© 2011-2019 sakura

快速回复 返回顶部 返回列表