设为首页收藏本站

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 3469|回复: 5

DNS搜索引擎回源 baidu百度 google谷歌 bing必应 搜狗 白名单 蜘蛛IP段 更新bot 站长

[复制链接]

签到天数: 2480 天

[LV.Master]伴坛终老

 成长值: 22140
发表于 2015/5/16 04:21 | 显示全部楼层 |阅读模式 |Google Chrome 41.0.2272.118|Windows 8.1
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
百度(均通过nslookup反查确保官方IP)
123.125.71.1-123.125.71.254
180.76.15.1-180.76.15.254
220.181.108.1-220.181.108.254

谷歌(均通过nslookup反查确保官方IP)
66.249.67.1-66.249.67.254
66.249.79.1-66.249.79.254

必应(均通过nslookup反查确保官方IP)
103.25.156.1-103.25.156.254
157.55.39.1-157.55.39.254
207.46.13.1-207.46.13.254


雅虎(均通过nslookup反查确保官方IP)
68.180.228.1-68.180.228.254
68.180.229.1-68.180.229.254

神马(日志分析抓取)
42.120.160.1-42.120.160.254
42.120.161.1-42.120.161.254
42.156.136.1-42.156.136.254
42.156.137.1-42.156.137.254
42.156.138.1-42.156.138.254
42.156.139.1-42.156.139.254

好搜(日志分析抓取)
182.118.20.1-182.118.20.254
182.118.21.1-182.118.21.254
182.118.22.1-182.118.22.254
182.118.25.1-182.118.25.254

搜狗(日志分析抓取)
123.126.113.188

更新时间20150613,如果发现新的会陆续补充

kangle懒人白名单格式:
  1. 123.125.71.1-123.125.71.254|180.76.15.1-180.76.15.254|220.181.108.1-220.181.108.254|66.249.67.1-66.249.67.254|66.249.79.1-66.249.79.254|103.25.156.1-103.25.156.254|157.55.39.1-157.55.39.254|207.46.13.1-207.46.13.254|68.180.228.1-68.180.228.254|68.180.229.1-68.180.229.254|42.120.160.1-42.120.160.254|42.120.161.1-42.120.161.254|42.156.136.1-42.156.136.254|42.156.137.1-42.156.137.254|42.156.138.1-42.156.138.254|42.156.139.1-42.156.139.254|182.118.20.1-182.118.20.254|182.118.21.1-182.118.21.254|182.118.22.1-182.118.22.254|182.118.25.1-182.118.25.254|123.126.113.188
复制代码



百度站长测试:http://zhanzhang.baidu.com/crawltools/index

DNS设置好后,全部抓取正常了,不会被360CDN拦截抓取了
1.jpg



欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

心冷漠情何在 该用户已被删除
发表于 2015/5/16 04:21 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 78 天

[LV.6]常住居民II

发表于 2017/6/5 08:28 | 显示全部楼层 |Google Chrome 58.0.3029.110|Windows 7
小樱把这个更新下吧
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 2480 天

[LV.Master]伴坛终老

 成长值: 22140
发表于 2017/6/5 10:34 | 显示全部楼层 |Google Chrome 58.0.3029.110|Windows 10
hhmx 发表于 2017/6/5 08:28
小樱把这个更新下吧

额,百度的话应该没变动吧
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 78 天

[LV.6]常住居民II

发表于 2017/6/16 19:02 | 显示全部楼层 |Google Chrome 58.0.3029.110|Windows 7
2017年360蜘蛛,我整理了下,懒人模式
http://www.so.com/help/spider_ip.html
42.236.99.1-42.236.99.254|42.236.12.1-42.236.12.254|42.236.46.1-42.236.46.254|42.236.54.1-42.236.54.254|42.236.55.1-42.236.55.254|42.236.101.1-42.236.101.254|42.236.102.1-42.236.102.254|42.236.103.1-42.236.103.254|80.153.236.1-80.153.236.254|180.153.236.1-180.153.236.254|180.153.232.1-180.153.232.254|180.153.234.1-180.153.234.254|
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 35 天

[LV.5]常住居民I

发表于 2018/3/8 10:37 | 显示全部楼层 |Google Chrome 45.0.2454.101|Windows 7
站长,更新下吧!
我了解到的不多,分享下
123.125.68.* 百度将要K站
220.181.68.* 百度已K站
220.181.108.* 百度抓首页
220.181.126.* 360 蜘蛛IP 站被举报
101.199.*.* 360 蜘蛛IP 站被举报
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 用百度帐号登录新浪微博账号登陆

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2018/10/18 06:29 , Processed in 0.384531 second(s), 48 queries , Gzip On, Memcache On.

Powered by itzmx!

© 2011-2018 sakura

快速回复 返回顶部 返回列表