设为首页收藏本站

ZMX - IT技术交流论坛 - 无限Perfect,追求梦想 - itzmx.com

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

搜索
查看: 383|回复: 3

亚马逊又不是搜索引擎,为什么有爬虫?堪称ddos网站服务器

[复制链接]
 成长值: 84

签到天数: 4585 天

[LV.Master]伴坛终老

发表于 2024/4/19 21:00 | 显示全部楼层 |阅读模式 |Google Chrome 123.0.0.0|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
亚马逊又不是搜索引擎,为什么有爬虫?堪称ddos网站服务器

30M宽带拉满,通过验证发现是爬虫
1.png

相关页面
https://developer.amazon.com/zh/amazonbot

已知相关UA
  1. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
复制代码


相关ip
52.70.240.171
3.224.220.101
23.22.35.162

这爬虫有够猛的,感觉可以禁止掉对方访问,,,因为亚马逊根本没搜索引擎功能

主要cf有毒,访问一次100MB的文件,下载了5%进度,没下载完成直接断开,也要全量回源100MB流量

欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

签到天数: 999 天

[LV.10]以坛为家III

发表于 2024/4/20 06:53 | 显示全部楼层 |Firefox 125.0|Windows 10
新 AI 机器人?估计是
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 889 天

[LV.10]以坛为家III

发表于 2024/4/20 14:00 | 显示全部楼层 |Google Chrome 120.0.0.0|Windows 10
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

签到天数: 68 天

[LV.6]常住居民II

发表于 2024/4/22 12:39 | 显示全部楼层 |Google Chrome 124.0.0.0|Windows 10
我也觉得是AI在学习数据
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 新浪微博账号登陆用百度帐号登录

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2024/7/24 07:27 , Processed in 0.100784 second(s), 24 queries , MemCache On.

Powered by itzmx! X3.4

© 2011- sakura

快速回复 返回顶部 返回列表