全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 777|回复: 7
打印 上一主题 下一主题

还有类似这种在线爬站的网站吗?

[复制链接]
跳转到指定楼层
1#
发表于 2024-8-3 21:53:24 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
http://wget.oiweb.cn/
2#
 楼主| 发表于 2024-8-3 21:54:28 | 只看该作者
  1. 在 Linux 下,通过一个命令就可以把整个站相关的文件全部下载下来。
  2. wget -r -p -k -np
  3. 参数说明:
  4. -r: 递归下载
  5. -p: 下载所有用于显示 HTML 页面的图片之类的元素
  6. -k: 在转换文件 X 前先将它备份为 X.orig 。
  7. -np: 不追溯至父目录

  8. wget -r -np -nd http://example.com/
  9. 这条命令可以下载 http://example.com 网站根目录中的所有文件。其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。
  10. wget -m -k (-H) http://www.example.com/
  11. 该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。
复制代码
3#
发表于 2024-8-3 22:37:04 | 只看该作者
这个看着不错
5#
发表于 2024-8-3 22:51:52 | 只看该作者
本站是利用wget来扒站的,所以点击提交任务一直转圈是正常现象。
稍微等一会,就会收到扒站成功的提示,如果没有很久很久没有提示,再刷新页面。如果长时间无法使用联系客服 服务器不堪重负,无法承受扒站的运行了,要使用的话加群自己下载源码搭建吧,

他这不是说了,加群就行。
6#
发表于 2024-8-3 23:03:47 | 只看该作者
不错,就是服务器比较贵
7#
 楼主| 发表于 2024-8-4 09:07:30 | 只看该作者
920 发表于 2024-8-3 22:51
本站是利用wget来扒站的,所以点击提交任务一直转圈是正常现象。
稍微等一会,就会收到扒站成功的提示,如 ...

群号搜不到
8#
发表于 2024-8-4 09:29:55 | 只看该作者
本帖最后由 ncnc 于 2024-8-4 09:43 编辑

厉害的 我也想防个站的  但是这没用 群号也加不了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-14 19:07 , Processed in 0.061889 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表