小樱 发表于 2015/5/16 04:21

DNS搜索引擎回源 baidu百度 google谷歌 bing必应 搜狗 kangle白名单 蜘蛛IP段 更新bot 站长

DNS搜索引擎回源 baidu百度 google谷歌 bing必应 搜狗 kangle白名单 蜘蛛IP段 更新bot 站长

百度（均通过nslookup反查确保官方IP）
123.125.71.1-123.125.71.254
180.76.15.1-180.76.15.254
220.181.108.1-220.181.108.254

谷歌（均通过nslookup反查确保官方IP）
66.249.67.1-66.249.67.254
66.249.79.1-66.249.79.254

必应（均通过nslookup反查确保官方IP）
103.25.156.1-103.25.156.254
157.55.39.1-157.55.39.254
207.46.13.1-207.46.13.254


雅虎（均通过nslookup反查确保官方IP）
68.180.228.1-68.180.228.254
68.180.229.1-68.180.229.254

神马（日志分析抓取）
42.120.160.1-42.120.160.254
42.120.161.1-42.120.161.254
42.156.136.1-42.156.136.254
42.156.137.1-42.156.137.254
42.156.138.1-42.156.138.254
42.156.139.1-42.156.139.254

好搜（日志分析抓取）
182.118.20.1-182.118.20.254
182.118.21.1-182.118.21.254
182.118.22.1-182.118.22.254
182.118.25.1-182.118.25.254

搜狗（日志分析抓取）
123.126.113.188

更新时间20150613，如果发现新的会陆续补充

kangle懒人白名单格式：
123.125.71.1-123.125.71.254|180.76.15.1-180.76.15.254|220.181.108.1-220.181.108.254|66.249.67.1-66.249.67.254|66.249.79.1-66.249.79.254|103.25.156.1-103.25.156.254|157.55.39.1-157.55.39.254|207.46.13.1-207.46.13.254|68.180.228.1-68.180.228.254|68.180.229.1-68.180.229.254|42.120.160.1-42.120.160.254|42.120.161.1-42.120.161.254|42.156.136.1-42.156.136.254|42.156.137.1-42.156.137.254|42.156.138.1-42.156.138.254|42.156.139.1-42.156.139.254|182.118.20.1-182.118.20.254|182.118.21.1-182.118.21.254|182.118.22.1-182.118.22.254|182.118.25.1-182.118.25.254|123.126.113.188


百度站长测试：http://zhanzhang.baidu.com/crawltools/index

DNS设置好后，全部抓取正常了，不会被360CDN拦截抓取了


如何验证 Googlebot 谷歌官方蜘蛛IP地址段 网站站长添加到系统防火墙白名单
https://bbs.itzmx.com/forum.php?mod=viewthread&tid=9038&fromuid=1

心冷漠情何在 发表于 2015/5/16 04:21

hhmx 发表于 2017/6/5 08:28

小樱把这个更新下吧

小樱 发表于 2017/6/5 10:34

hhmx 发表于 2017/6/5 08:28
小樱把这个更新下吧

额，百度的话应该没变动吧

hhmx 发表于 2017/6/16 19:02

2017年360蜘蛛,我整理了下，懒人模式
http://www.so.com/help/spider_ip.html
42.236.99.1-42.236.99.254|42.236.12.1-42.236.12.254|42.236.46.1-42.236.46.254|42.236.54.1-42.236.54.254|42.236.55.1-42.236.55.254|42.236.101.1-42.236.101.254|42.236.102.1-42.236.102.254|42.236.103.1-42.236.103.254|80.153.236.1-80.153.236.254|180.153.236.1-180.153.236.254|180.153.232.1-180.153.232.254|180.153.234.1-180.153.234.254|

卡卡北 发表于 2018/3/8 10:37

站长，更新下吧！
我了解到的不多，分享下
123.125.68.* 百度将要K站
220.181.68.* 百度已K站
220.181.108.* 百度抓首页
220.181.126.* 360 蜘蛛IP 站被举报
101.199.*.* 360 蜘蛛IP 站被举报

xhxh 发表于 2024/8/19 14:31

小樱要更新下百度的了，百度站长平台验证不了站点了都{:129:}

小樱 发表于 2024/8/19 19:20

xhxh 发表于 2024/8/19 14:31
小樱要更新下百度的了，百度站长平台验证不了站点了都

先把防御关了，然后点击，立即在日志看看ip地址是多少，通过nslookup判断就可以确认是百度蜘蛛了
页: [1]
查看完整版本: DNS搜索引擎回源 baidu百度 google谷歌 bing必应 搜狗 kangle白名单 蜘蛛IP段 更新bot 站长