亚马逊又不是搜索引擎，为什么有爬虫？堪称ddos网站服务器

小樱

亚马逊又不是搜索引擎，为什么有爬虫？堪称ddos网站服务器

30M宽带拉满，通过验证发现是爬虫


相关页面
https://developer.amazon.com/zh/amazonbot

已知相关UA

1. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

复制代码

相关ip
52.70.240.171
3.224.220.101
23.22.35.162

这爬虫有够猛的，感觉可以禁止掉对方访问，，，因为亚马逊根本没搜索引擎功能

主要cf有毒，访问一次100MB的文件，下载了5%进度，没下载完成直接断开，也要全量回源100MB流量

Github

新 AI 机器人？估计是

Mu辛

ipaapk

我也觉得是AI在学习数据