全球主机交流论坛

标题: 拉一个50G的压缩包，wget老是中断，断点续传会造成无法解压 [打印本页]

作者: jm198321 时间: 2017-8-14 17:53
标题: 拉一个50G的压缩包，wget老是中断，断点续传会造成无法解压
一台国内，一台国外，国外那台速度极慢，在国外那台拉国内服务器上的文件，平均速度30K/S。

拉了几次都是这样，每次都中途断掉，需要再断点续传，辛苦拉了几天才拉完，到最后解压的时候出错，估计是断点续传有问题造成的，请教下技术帝，要怎么操作才行？

两台都是linux，直接从一台FTP传另外一台？但linux下怎么用FTP不知道，另外如果FTP不能多线程，估计会传1年，因为都是碎片小文件，总体数量巨大。

打包拉感觉比较靠谱，可wget总是不能一次性解决，断点续传后最后完成下载的文件不是比原包大就是比原包小。

作者: cgs3238 时间: 2017-8-14 17:54
试试rsync，专业同步工具

作者: eqblog 时间: 2017-8-14 17:55
scp

作者: dvbhack 时间: 2017-8-14 17:56
本帖最后由 dvbhack 于 2017-8-14 17:57 编辑

打包然后：axel 多线程下载

或者，先通过一个带宽足的国内服务器（或网盘）中转一下。

楼上有人提到rsync，这个对大量小文件确实更好一些。

作者: 传说的烧饼 时间: 2017-8-14 17:58
安装mwget,5线程下载，支持断点续传

yum install intltool gcc gcc-c++ gcc-g77 gcc++ openssl-devel -y
cd /usr/local/src/
wget http://soft.shaobing.ru/Tools/mwget_0.1.0.orig.tar.bz2
tar -xjvf mwget_0.1.0.orig.tar.bz2
chown root. mwget_0.1.0.orig -R
cd mwget_0.1.0.orig
./configure
make
make install
rm /usr/local/src/mwget_0.1.0.orig.tar.bz2 -rf

复制代码

作者: dupit8 时间: 2017-8-14 17:59
有ssh权限么，用ssh边打包边传，然后走udp tunnel。

作者: eonghk 时间: 2017-8-14 17:59
上传到对象存储

作者: txjcv 时间: 2017-8-14 17:59
网络决定的，没办法的事情。

作者: dupit8 时间: 2017-8-14 18:00
其实走https应该比http可靠些。

作者: hjvn2211445 时间: 2017-8-14 18:01
axel 多线程，或者先存网盘，再下载

作者: jm198321 时间: 2017-8-14 18:11

dvbhack 发表于 2017-8-14 17:56
打包然后：axel 多线程下载

或者，先通过一个带宽足的国内服务器（或网盘）中转一下。

rsync感觉用起来好复杂的样子，我是linux菜鸟，估计是不好用的懂。先用你说的axel事实再说。谢谢各位高手的指点。

作者: jm198321 时间: 2017-8-14 18:38

dvbhack 发表于 2017-8-14 17:56
打包然后：axel 多线程下载

或者，先通过一个带宽足的国内服务器（或网盘）中转一下。

装好了，正在拉，不知道最多能开多少线程，我开了10个线程，速度400K/S，比以前强多了

另外这个能后台运行吗？就是关闭ssh后它还可以继续在服务器上自动下载吗？

作者: 地瓜侠 时间: 2017-8-14 18:45
分卷打包不好吗……

作者: 蓝鹰 时间: 2017-8-14 18:47
提示: 作者被禁止或删除内容自动屏蔽

作者: 蓝色幽影 时间: 2017-8-14 19:06
你还可以分卷然后多开几个wget。手动多线程 2333

作者: dvbhack 时间: 2017-8-14 19:10

jm198321 发表于 2017-8-14 18:38
装好了，正在拉，不知道最多能开多少线程，我开了10个线程，速度400K/S，比以前强多了

另外这个能后台运 ...

先装一个 screen（可以google一下screen的基本用法），然后用它来执行一个你退出SSH以后也可以继续运行的进程。在里面axel下载，Detach，就可以关闭了。等过段时间连上SSH，再 Attach 该进程去看进度。

作者: 陈道临 时间: 2017-8-14 19:13

我选择做个种子

作者: 搬瓦工新闻网 时间: 2017-8-14 19:14
多大的事儿，我200G的数据库文件，aria2c本地跑满

作者: mzxx 时间: 2017-8-14 20:22
Axel是你最好的选择

作者: hdown 时间: 2017-8-14 20:52

搬瓦工新闻网发表于 2017-8-14 19:14
多大的事儿，我200G的数据库文件，aria2c本地跑满

我也喜欢aria2

作者: 流河旱树 时间: 2017-8-14 21:00

传说的烧饼发表于 2017-8-14 17:58
安装mwget,5线程下载，支持断点续传

dalao 求下图床程序。。

作者: greensnow 时间: 2017-8-14 21:33
多线程下完，如果不能解压，用rsync同步

作者: 传说的烧饼 时间: 2017-8-15 09:58

流河旱树发表于 2017-8-14 21:00
dalao 求下图床程序。。

正版图床，无法赠送

作者: dream7758521 时间: 2017-8-15 10:01
提示: 作者被禁止或删除内容自动屏蔽

作者: 醉里耍大刀 时间: 2017-8-15 10:06
如果老是断断续续，换一家吧，真的

欢迎光临全球主机交流论坛 (https://loc.010206.xyz/)