ceetm 发表于 2025/10/12 20:45

github.itzmx.com 限速128kB/s?

好奇是github限速的 ，还是站长这边限速的？

小樱 发表于 2025/10/12 23:12

最近被ai爬虫闹的，每天消耗几百G流量，由于服务器流量每月有限额，我这里限速了cdn回源速度，cdn边缘节点缓存后二次访问不限速

ceetm 发表于 2025/10/13 16:08

robots.txt 限制一下试试？

https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/refs/heads/main/robots.txt

小樱 发表于 2025/10/13 21:07

ceetm 发表于 2025/10/13 16:08
robots.txt 限制一下试试？

https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/refs/head ...

之前试过一段时间，ai爬虫并不会遵守robots.txt
页: [1]
查看完整版本: github.itzmx.com 限速128kB/s?