存档

文章标签 ‘mirror’

个人感觉比wget更强大的lftp

2010年12月27日 2 条评论

wget功能很强大,manual手册都写了好多页,基本上大家想到的功能都有对应的选项,想干啥的时候先man一把基本上都能找到。

但是我个人觉得有一个缺点就是不支持多线程下载,像我上次写的用wget对源做备份,公司带宽其实挺高的,平时用sohu,163的源下东西都能上兆,不支持多线程的话其实速度就上不去,速度到了四五百K就上不去了,这样就很慢了,做个备份要好几个小时。

于是我找了另一个命令行下的下载工具,lftp,也支持mirror的功能。

lftp的功能很强大,这里主要讲讲比wget强的地方就是支持同时下载几个文件,每个文件还可以指定几个线程下载。像我指定同时下载5个文件,每个文件5个线程,速度大概有三四兆,半个小时备份就做完了。

另外一个牛逼的地方在于,当我们做完一次备份,定期更新的话就不需要每次都重新下载了,但是用wget更新的时候,wget是发现服务器端的文件跟本地的不一样(文件大小或者修改时间),或者服务器端有的文件本地没有,就会重新下载下来,这样更新其实是有漏洞的,那就是要是你本地有这个文件,服务器那边删掉这个文件了,wget是不作处理的,虽然这样弄对做源应该是没多大影响,但是会让本地的文件越来越多,文件多了自己想删都不知道删什么。lftp的同步更新功能就可以发现这点,要是服务器端没这个文件了,它更新的时候就会把本地的也删掉,这点很赞!
像我上次做备份用的命令是 阅读全文…

分类: 工作 标签: , , ,

openSUSE下利用wget对源进行备份

2010年12月23日 没有评论

Create image的时候需要从源download package,但是用公司代理速度很慢,而且mic-image-creator还有些毛病,有时候package已经在cache里了,还是要重新retrieving一遍,遇到比较大的时候就很郁闷。就想干脆把源mirror下来好了。对openSUSE本来并不怎么熟的,平时都玩Ubuntu和Fedora,而且Ubuntu和Fedora的机子配置都高,8核i7,但是无奈openSUSE上的空间比较大,两块硬盘加起来600多G,只分别给openSUSE11.3和Fedora12划了50G,剩下的不用就浪费掉了,所以就在openSUSE的机子上用100G专门做镜像了。

首先要把用作备份的硬盘分区在开机的时候就能挂载上去, mkdir /mnt/mirror,然后ls -all /dev/disk/by-uuid

找到要做备份的硬盘分区的UUID,然后编辑 vi /etc/fstab,在最后面添加上UUID=用作镜像的硬盘分区UUID /mnt/mirror ext3 defaults 0 0

注意是defaults,不要少了s,我一开始少加了,结果就没挂载上去。而且有意思的一点是,Ubuntu和Fedora下面都是根据UUID识别分区的,当然也可以直接用/dev/sda?之类的来识别,openSUSE用的却是id来区分,这点可以在ls -all /dev/disk/by- 的时候按两下tab键看看,有by-id,by-pach,by-uuid。

添加完毕,这块硬盘就会开机的时候自动挂载了。

然后用wget -q -b -m -c -np -P /mnt/mirror –random-wait -k http://repo.meego.com/MeeGo/builds/trunk/1.1.80.11.20101221.1/

这里-q是不显示输出,-b是后天运行,-m是mirror的意思,等价于-r -N -l inf -nr,即-r递归,-N检查时间戳,比本地新才下载,-l inf递归层次无限,-nr不移走.listing文件,-c 断点续传,-np,不递归到上层目录,-P 下载目录,-random-wait 两次下载之间等待random的时间, -k 转换非相对链接为相对链接。

等下载完之后就行了。这样下载到mirro目录里,层次是/mnt/mirror/reop.meego.com/MeeGo/builds/trunk/1.1.80.11.20101221.1/下载下来的各级子目录,要想去掉repo.meego.com,可以加-nH的选项,就不建立主机名目录了。

接着安装Apache服务器,zypper install apache,openSUSE下服务默认是不会开启的 chkconfig apache2 –level 345 on 参数的具体意思看这篇,或者也可以在图形桌面环境下的yast2里开启服务。

另外openSUSE默认防火墙是开启的,而且防火墙默认关闭所有端口,所以要自己手动开放http server的端口,或者之间把防火墙关掉也行。

接着配置Apache。 阅读全文…

分类: 工作 标签: , , ,