设为首页收藏本站

ZMX - IT技术交流论坛 - 无限Perfect,追求梦想 - itzmx.com

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

搜索
查看: 1218|回复: 3

亚马逊又不是搜索引擎,为什么有爬虫Amazonbot?堪称ddos网站服务器

[复制链接]
 成长值: 747

签到天数: 4874 天

[LV.Master]伴坛终老

发表于 2024/4/19 21:00 | 显示全部楼层 |阅读模式 |Google Chrome 123.0.0.0|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
亚马逊又不是搜索引擎,为什么有爬虫Amazonbot?堪称ddos网站服务器

30M宽带拉满,通过验证发现是爬虫
1.png

相关页面
https://developer.amazon.com/zh/amazonbot

已知相关UA
  1. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
复制代码


相关ip,不完整仅选取部分
3.224.220.101
18.209.137.234
23.22.35.162
34.193.2.57
34.195.248.30
52.70.240.171
54.235.125.129
100.29.160.53
184.73.239.35
35.171.117.160


这爬虫有够猛的,感觉可以禁止掉对方访问,,,因为亚马逊根本没搜索引擎功能

主要cf有毒,访问一次100MB的文件,下载了5%进度,没下载完成直接断开,也要全量回源100MB流量

2025年4月20日帖子补充
这亚马逊爬虫几天前突然换ua了,又被爬了几百G流量,干脆关键字Amazonbot屏蔽他
  1. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36
复制代码

他又不是爬虫,堪称ddos,收到流量不足通知才发现,还好明天就重置流量了,而且他这种换ua的做法,明显就是爬虫不应该有的行为

还有个莫名其妙的爬虫是SemrushBot,不知道谁家的不过它爬的流量不多,要不然一起屏蔽了
  1. Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
复制代码


欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

签到天数: 1264 天

[LV.10]以坛为家III

发表于 2024/4/20 06:53 | 显示全部楼层 |Firefox 125.0|Windows 10
新 AI 机器人?估计是
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 1164 天

[LV.10]以坛为家III

发表于 2024/4/20 14:00 | 显示全部楼层 |Google Chrome 120.0.0.0|Windows 10
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 95 天

[LV.6]常住居民II

发表于 2024/4/22 12:39 | 显示全部楼层 |Google Chrome 124.0.0.0|Windows 10
我也觉得是AI在学习数据
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 新浪微博账号登陆用百度帐号登录

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2025/5/9 13:14 , Processed in 0.179015 second(s), 25 queries , MemCache On.

Powered by itzmx! X3.4

© 2011- sakura

快速回复 返回顶部 返回列表