Linux如何提高大文件的拷贝效率

这篇文章主要介绍“linux如何提高大文件的拷贝效率”，在日常操作中，相信很多人在Linux如何提高大文件的拷贝效率问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Linux如何提高大文件的拷贝效率”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

　　你可以从源机器逐个拷贝到逐台目标机器，但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器，但是受制于源机器的带宽等因素，速度并不见得真的很快。

　　还好，借助一些UNIX工具可以做的更好。把tee和FIFO组合起来，可以形成一个文件快速分发链：处于分发链中的每台机器会保存文件，同时还分发给它的下一环。

　　首先，选定一台目标机器做为分发链的最后一环，在这台机器上只需要用nc监听（假定端口是1234），再通过管道由pigz解压缩，继续通过管道把数据交由tar来分解。

　　nc -l 1234| pigz -d | tar xvf -

　　然后，再从分发链的末端往上走，设置其它目标机器，同样要经过监听、解压、分解，不过在解压之前我们通过tee命令将数据输出到命名管道（FIFO），另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环：

　　mkfifo myfifo

　　nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

　　最后，在源机器上启动分发链，让数据传输到分发链的第一环：

　　tar cv some_files | pigz | nc hostname_of_first_box 1234

　　在我的测试中，分发链中的每台机器大概损失了3%-10%的性能（相对于1对1的拷贝而言），但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发，效率提升是很明显的。

到此，关于“Linux如何提高大文件的拷贝效率”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注编程网网站，小编会继续努力为大家带来更多实用的文章！