位置: 编程技术 - 正文
推荐整理分享Linux如何提高大文件的拷贝效率以节约时间(怎么放大linux字体),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:怎么放大linux字体,怎么调整linux界面的大小,linux扩大内存,linux扩大内存,linux系统界面如何放大,linux界面放大,linux扩大内存,linux扩大内存,内容如对您有帮助,希望把文章链接给更多的朋友!
Linux系统操作中,当你在进行机器直接的拷贝时,遇到大文件的时候非常浪费时间,特别是将文件同时拷贝到多台机器上的时候,那么有什么好的方法能够提高大文件的拷贝效率呢?一起来学习下吧。
你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。
还好,借助一些UNIX工具可以做的更好。把tee和FIFO组合起来,可以形成一个文件快速分发链:处于分发链中的每台机器会保存文件,同时还分发给它的下一环。
首先,选定一台目标机器做为分发链的最后一环,在这台机器上只需要用nc监听(假定端口是),再通过管道由pigz解压缩,继续通过管道把数据交由tar来分解。
nc -l | pigz -d | tar xvf -
然后,再从分发链的末端往上走,设置其它目标机器,同样要经过监听、解压、分解,不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO),另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环:
mkfifo myfifo
nc hostname_of_next_box nc -l | tee myfifo | pigz -d | tar xvf -
最后,在源机器上启动分发链,让数据传输到分发链的第一环:
tar cv some_files | pigz | nc hostname_of_first_box
在我的测试中,分发链中的每台机器大概损失了3%-%的性能(相对于1对1的拷贝而言),但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发,效率提升是很明显的。
上面就是Linux提高大文件拷贝效率的方法介绍了,主要通过UNIX工具形成一个文件快速分发链来实现大文件的快速拷贝,效率提高了不少。
linux系统用什么命令查看端口的占用情况? 在LINUX系统环境下,我们可以使用系统命令来查看端口的使用情况。1、查看端口是否已经打开:netstat-an2、查看端口是被哪个应用程序使用:netstat-apnps-e
Linux系统怎么启用临时IP地址? 在Linux系统下可以非常方便的修改IP地址,下面就介绍下如何快捷实现暂时修改IP地址。1、进入到Linux系统中,输入用户名和密码完成登录。2、在命令提
Linux如何建立静态链接库.lib文件 通常我们所说的静态链接库就是.lib文件,文件一般比较大,能够将函数和数据编译到一个.lib文件中,那么Linux系统要如何建立静态链接库呢?下面小编
标签: 怎么放大linux字体
本文链接地址:https://www.jiuchutong.com/biancheng/367613.html 转载请保留说明!友情链接: 武汉网站建设