设为首页收藏本站

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 2683|回复: 4
打印 上一主题 下一主题

DNS搜索引擎回源 baidu百度 google谷歌 bing必应 搜狗 白名单 蜘蛛IP段 更新bot 站长

[复制链接]

签到天数: 2212 天

[LV.Master]伴坛终老

 成长值: 20800
跳转到指定楼层
楼主
发表于 2015/5/16 04:21 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式 |Google Chrome 41.0.2272.118|Windows 8.1
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
百度(均通过nslookup反查确保官方IP)
123.125.71.1-123.125.71.254
180.76.15.1-180.76.15.254
220.181.108.1-220.181.108.254

谷歌(均通过nslookup反查确保官方IP)
66.249.67.1-66.249.67.254
66.249.79.1-66.249.79.254

必应(均通过nslookup反查确保官方IP)
103.25.156.1-103.25.156.254
157.55.39.1-157.55.39.254
207.46.13.1-207.46.13.254


雅虎(均通过nslookup反查确保官方IP)
68.180.228.1-68.180.228.254
68.180.229.1-68.180.229.254

神马(日志分析抓取)
42.120.160.1-42.120.160.254
42.120.161.1-42.120.161.254
42.156.136.1-42.156.136.254
42.156.137.1-42.156.137.254
42.156.138.1-42.156.138.254
42.156.139.1-42.156.139.254

好搜(日志分析抓取)
182.118.20.1-182.118.20.254
182.118.21.1-182.118.21.254
182.118.22.1-182.118.22.254
182.118.25.1-182.118.25.254

搜狗(日志分析抓取)
123.126.113.188

更新时间20150613,如果发现新的会陆续补充

kangle懒人白名单格式:
  1. 123.125.71.1-123.125.71.254|180.76.15.1-180.76.15.254|220.181.108.1-220.181.108.254|66.249.67.1-66.249.67.254|66.249.79.1-66.249.79.254|103.25.156.1-103.25.156.254|157.55.39.1-157.55.39.254|207.46.13.1-207.46.13.254|68.180.228.1-68.180.228.254|68.180.229.1-68.180.229.254|42.120.160.1-42.120.160.254|42.120.161.1-42.120.161.254|42.156.136.1-42.156.136.254|42.156.137.1-42.156.137.254|42.156.138.1-42.156.138.254|42.156.139.1-42.156.139.254|182.118.20.1-182.118.20.254|182.118.21.1-182.118.21.254|182.118.22.1-182.118.22.254|182.118.25.1-182.118.25.254|123.126.113.188
复制代码



百度站长测试:http://zhanzhang.baidu.com/crawltools/index

DNS设置好后,全部抓取正常了,不会被360CDN拦截抓取了




分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 分享分享 分享淘帖 顶 踩
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

心冷漠情何在 该用户已被删除
沙发
发表于 2015/5/16 04:21 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 72 天

[LV.6]常住居民II

板凳
发表于 2017/6/5 08:28 | 只看该作者 |Google Chrome 58.0.3029.110|Windows 7
小樱把这个更新下吧
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 2212 天

[LV.Master]伴坛终老

 成长值: 20800
报纸
发表于 2017/6/5 10:34 | 只看该作者 |Google Chrome 58.0.3029.110|Windows 10
hhmx 发表于 2017/6/5 08:28
小樱把这个更新下吧

额,百度的话应该没变动吧
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 72 天

[LV.6]常住居民II

地板
发表于 2017/6/16 19:02 | 只看该作者 |Google Chrome 58.0.3029.110|Windows 7
2017年360蜘蛛,我整理了下,懒人模式
http://www.so.com/help/spider_ip.html
42.236.99.1-42.236.99.254|42.236.12.1-42.236.12.254|42.236.46.1-42.236.46.254|42.236.54.1-42.236.54.254|42.236.55.1-42.236.55.254|42.236.101.1-42.236.101.254|42.236.102.1-42.236.102.254|42.236.103.1-42.236.103.254|80.153.236.1-80.153.236.254|180.153.236.1-180.153.236.254|180.153.232.1-180.153.232.254|180.153.234.1-180.153.234.254|
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 用百度帐号登录新浪微博账号登陆

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2018/1/23 12:25 , Processed in 0.323900 second(s), 42 queries , Gzip On, Apc On.

Powered by itzmx!

© 2011-2013 sakura

快速回复 返回顶部 返回列表