设为首页收藏本站

ZMX - IT技术交流论坛 - 无限Perfect,追求梦想 - itzmx.com

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

搜索
查看: 653|回复: 0

利用bat批处理curl实现cmd命令行自动保存网站页面内容 archive世界图书馆快照爬虫

[复制链接]
 成长值: 1750

签到天数: 4443 天

[LV.Master]伴坛终老

发表于 2023/5/8 07:49 | 显示全部楼层 |阅读模式 |Google Chrome 113.0.0.0|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
利用bat批处理curl实现cmd命令行自动保存网站页面内容 archive世界图书馆快照爬虫

curl保存命令
  1. curl -k https://web.archive.org/save/https://bbs.itzmx.com/thread-102995-1-1.html
复制代码


浏览器上手动保存页面
https://web.archive.org/save/https://bbs.itzmx.com/thread-102995-1-1.html

查看最新页面
https://web.archive.org/https://bbs.itzmx.com/thread-102995-1-1.html

查看历史保存页面
https://web.archive.org/*/https://bbs.itzmx.com/thread-102995-1-1.html

bat命令,要一次性保存多个页面就根据代码改写,以后执行bat就可以捕获最新的页面,archive限制每个ip1分钟内最多保存3个页面(输出 already reached the limit),同一个页面每隔45分钟保存一次(45分钟内二次保存不计算限制次数),每天同一个页面最多保存10次,国内ip无法访问archive
  1. @echo off
  2. ping /n 5 127.1>nul
  3. echo 保存中,预计10秒,请稍候……
  4. curl -k --connect-timeout 3 -m 10 https://web.archive.org/save/https://bbs.itzmx.com/thread-102995-1-1.html
  5. echo 保存成功
  6. pause
复制代码


评分

参与人数 1樱币 +1 收起 理由
寻宝人2339 + 1 很给力!

查看全部评分

欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 新浪微博账号登陆用百度帐号登录

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2024/3/4 19:42 , Processed in 0.184631 second(s), 25 queries , MemCache On.

Powered by itzmx! X3.4

© 2011- sakura

快速回复 返回顶部 返回列表