设为首页收藏本站

ZMX - IT技术交流论坛 - 无限Perfect,追求梦想 - itzmx.com

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

搜索
查看: 2131|回复: 0

网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,REMOTE_ADDR header头部禁止 2a06:98c0:3600::103 ipv6地址,非真实浏览器禁止访问

[复制链接]
 成长值: 336

签到天数: 4737 天

[LV.Master]伴坛终老

发表于 2022/8/24 06:55 | 显示全部楼层 |阅读模式 |Google Chrome 104.0.5112.102|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,REMOTE_ADDR header头部禁止 2a06:98c0:3600::103 ipv6地址,非真实浏览器禁止访问

方法一
服务器检测 REMOTE_ADDR 或者 X_FORWARDED_FOR 字符串的header头部信息,匹配ip为 2a06:98c0:3600::103 则屏蔽,如果后续workers更换服务器ip则会屏蔽失败。

方法二
服务器检测 CF_WORKER 头部信息,如果有这个头,可以百分百确认是workers,可直接屏蔽,该头部内容为workers绑定的自定义工作域名。

方法三
服务器检测 COOKIE 头部信息,如果值字段内包含xxxxx_lang=zh字样,有大概率是workers。

方法四
服务器检测 CDN_LOOP 头部信息,如果有这个头,可以用来判断workers,该头内容固定为 cloudflare; subreqs=1 对比正常浏览器访问会额外多出一个subreqs=1字段。

方法五
服务器检测 CF_EW_VIA 头部信息,如果有这个头,可以用来判断workers,该头内容固定为 15

方法六
检查浏览器正常头部信息,workers不会传递以下浏览器产生的访问头部
  1. SEC_FETCH_DEST = document
  2. SEC_FETCH_USER = ?1
  3. SEC_FETCH_MODE = navigate
  4. SEC_FETCH_SITE = none
  5. SEC_CH_UA_PLATFORM = "Windows"
  6. SEC_CH_UA_MOBILE = ?0
  7. SEC_CH_UA = "Chromium";v="104", " Not A;Brand";v="99", "Microsoft Edge";v="104"
复制代码


[发帖际遇]: 小樱 发帖时在路边捡到 1 樱币,偷偷放进了口袋. 幸运榜 / 衰神榜
欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 新浪微博账号登陆用百度帐号登录

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2024/12/23 10:04 , Processed in 0.137014 second(s), 19 queries , MemCache On.

Powered by itzmx! X3.4

© 2011- sakura

快速回复 返回顶部 返回列表