有没有一种软件，可以全自动爬行下载目标页面

jm198321 · 发表于 2018-1-13 16:27:52

带爬取链接深度设定功能

比如我想下载某个网站所有的二级目录

http://www.a.com/abc/

http://www.a.com/def/

http://www.a.com/ghi/

有些模板扒皮软件可以，但是好像不能自动爬取所有链接。

下载了一个叫 HTTrack Website Copier 的工具满足我的需求，但是好像有问题，在下载的时候缓存的文件是 *.html.tmp，但下载结束后，所有Html文件都会自动消失，不知道为什么。

ultramancliub · 发表于 2018-1-14 21:54:21

持续关注

baymin · 发表于 2018-1-14 20:40:30

helwo 发表于 2018-1-14 13:52
难道我这边有问题。我可以访问。奇怪了

现在可以了，之前显示目录什么什么不存在之类

baymin · 发表于 2018-1-14 20:38:52

cgs3238 发表于 2018-1-13 16:44
wget 下载整个网站，或者特定目录

1、需要下载某个目录下面的所有文件。命令如下

习惯性的wget -m

d5d · 发表于 2018-1-14 14:06:59

离线阅读软件

wenguonideshou · 发表于 2018-1-14 14:05:41

Python手写爬虫

helwo · 发表于 2018-1-14 13:52:49

baymin 发表于 2018-1-14 12:10
大佬，文件不在了

难道我这边有问题。我可以访问。奇怪了

sskdgu · 发表于 2018-1-14 12:11:30

webdump

eqblog · 发表于 2018-1-14 12:11:08

最近一直在学python

你可以用爬虫解决这一切，没错就是这样简单

只看该作者 · 发表于 2018-1-14 12:10:50

提示: 作者被禁止或删除内容自动屏蔽

baymin · 发表于 2018-1-14 12:10:00

helwo 发表于 2018-1-14 09:42
https://pan.baidu.com/s/1gePSSpH
密码：ubg4

大佬，文件不在了

		自动登录	找回密码
密码			注册

橙影该用户已被删除	14^# 发表于 2018-1-14 12:10:50 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
橙影该用户已被删除
	回复举报

有没有一种软件，可以全自动爬行下载目标页面

浏览过的版块