亚马逊又不是搜索引擎，为什么有爬虫Amazonbot？堪称ddos网站服务器

小樱

亚马逊又不是搜索引擎，为什么有爬虫Amazonbot？堪称ddos网站服务器

30M宽带拉满，通过验证发现是爬虫


相关页面
https://developer.amazon.com/zh/amazonbot

已知相关UA

1. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

复制代码

相关ip，不完整仅选取部分
3.224.220.101
18.209.137.234
23.22.35.162
34.193.2.57
34.195.248.30
52.70.240.171
54.235.125.129
100.29.160.53
184.73.239.35
35.171.117.160


这爬虫有够猛的，感觉可以禁止掉对方访问，，，因为亚马逊根本没搜索引擎功能

主要cf有毒，访问一次100MB的文件，下载了5%进度，没下载完成直接断开，也要全量回源100MB流量

2025年4月20日帖子补充
这亚马逊爬虫几天前突然换ua了，又被爬了几百G流量，干脆关键字Amazonbot屏蔽他

1. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36

复制代码

他又不是爬虫，堪称ddos，收到流量不足通知才发现，还好明天就重置流量了，而且他这种换ua的做法，明显就是爬虫不应该有的行为

还有个莫名其妙的爬虫是SemrushBot，不知道谁家的不过它爬的流量不多，要不然一起屏蔽了

1. Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

复制代码

最近又多了个爬虫固定ip地址为 20.171.207.173 看起来肯定不是官方的，是伪造的爬虫ua，直接拉黑GPTBot

1. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

复制代码

Github

新 AI 机器人？估计是

Mu辛

ipaapk

我也觉得是AI在学习数据