亚马逊又不是搜索引擎，为什么有爬虫Amazonbot？堪称ddos网站服务器 - ZMX - IT技术交流论坛 - 无限Perfect，追求梦想 - itzmx.com

上传

点击文件名下载附件

相关页面
https://developer.amazon.com/zh/amazonbot

已知相关UA

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

复制代码

相关ip，不完整仅选取部分
3.224.220.101
18.209.137.234
23.22.35.162
34.193.2.57
34.195.248.30
52.70.240.171
54.235.125.129
100.29.160.53
184.73.239.35
35.171.117.160

这爬虫有够猛的，感觉可以禁止掉对方访问，，，因为亚马逊根本没搜索引擎功能

主要cf有毒，访问一次100MB的文件，下载了5%进度，没下载完成直接断开，也要全量回源100MB流量

2025年4月20日帖子补充
这亚马逊爬虫几天前突然换ua了，又被爬了几百G流量，干脆关键字Amazonbot屏蔽他

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36

复制代码

他又不是爬虫，堪称ddos，收到流量不足通知才发现，还好明天就重置流量了，而且他这种换ua的做法，明显就是爬虫不应该有的行为

还有个莫名其妙的爬虫是SemrushBot，不知道谁家的不过它爬的流量不多，要不然一起屏蔽了

Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

复制代码

最近又多了个爬虫固定ip地址为 20.171.207.173 看起来肯定不是官方的，是伪造的爬虫ua，直接拉黑GPTBot

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

复制代码

作者: Github 时间: 2024/4/20 06:53
新 AI 机器人？估计是

作者: Mu辛 时间: 2024/4/20 14:00

作者: ipaapk 时间: 2024/4/22 12:39
我也觉得是AI在学习数据

欢迎光临 ZMX - IT技术交流论坛 - 无限Perfect，追求梦想 - itzmx.com (https://bbs.itzmx.com/)