让gzip压缩速度加快的解决方案：使用支持多核CPU多线程并发压缩的pigz(gzip压缩慢)

编辑：rootadmin

推荐整理分享让gzip压缩速度加快的解决方案：使用支持多核CPU多线程并发压缩的pigz(gzip压缩慢)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:gzip压缩后会比原文件小多少,gzip压缩比,gzip压缩效率,gzip压缩慢,gzip压缩后会比原文件小多少,gzip压缩慢,gzip压缩速度慢,gzip压缩效率,内容如对您有帮助，希望把文章链接给更多的朋友！

pig是个啥东东？官网： parallel implementation of gzip for modernmulti-processor, multi-core machines。简单的说，就是支持并行的gzip。废话不多说，开始测试。

让gzip压缩速度加快的解决方案：使用支持多核CPU多线程并发压缩的pigz(gzip压缩慢)

pig默认用当前逻辑cpu个数来并发压缩，无法检测个数的话，则并发8个线程。

一、测试压缩包文件1复制代码代码如下:压缩前-rw-r--r-- 1 root root Dec 3 : dbs.tar1、gzip测试压缩耗时，CPU最高：.6%real 2m.suser 2m.ssys 0m6.s解压缩耗时，CPU最高：.6%real 0m.suser 0m.ssys 0m6.s压缩后-rw-r--r-- 1 root root Dec 3 : dbs.tar.gz2、pigz测试并发8线程(默认)：压缩耗时，CPU最高：%real 0m.suser 2m.ssys 0m9.s解压缩耗时，CPU最高：%real 0m.suser 0m.ssys 0m.s并发4线程：压缩耗时，CPU最高：.6%real 0m.suser 2m.ssys 0m8.s解压缩耗时，CPU最高：%real 0m.suser 0m.ssys 0m.s压缩后-rw-r--r-- 1 root root Dec 3 : dbs.tar.gz二、测试压缩包文件2压缩前-rw-r--r-- 1 root root Dec 3 : mysql-5.5.-linux2.6-x_.tar1、gzip测试压缩耗时，CPU最高：%real 6m.suser 6m2.ssys 0m7.s解压缩耗时，CPU最高： %real 0m.suser 0m.ssys 0m.s压缩后-rw-r--r-- 1 root root Dec 3 : mysql-5.5.-linux2.6-x_.tar.gz2、pigz测试并发8线程(默认)：压缩耗时，CPU最高： %real 1m.suser 6m.ssys 0m9.s解压缩耗时，CPU最高：%real 0m.suser 0m.ssys 0m.s并发4线程：压缩耗时，CPU最高： %real 1m.suser 6m.ssys 0m9.s解压缩耗时，CPU最高： %real 0m.suser 0m.ssys 0m.s压缩后-rw-r--r-- 1 root root Dec 3 : mysql-5.5.-linux2.6-x_.tar.gz

结论：1、pigz默认用法(默认并发线程是逻辑cpu个数)可比gzip快5.3倍，CPU消耗则是gzip的8倍，压缩比则相当；2、并发8线程对比4线程提升：.2%，线程对比8线程提升：.9%，线程对比线程提升：3%；3、在对压缩效率要求较高、但对短时间内CPU消耗较高不受影响的场景，使用pigz非常合适。

Linux crontab报错：BAD FILE MODE的解决方法近期碰到个问题，服务器上线后，crontab都发生异常没有自动执行，查看了下日志，发现问题：复制代码代码如下:Apr::gimoo.netcrond[]:(*system*)BADFIL

linux中Shell日期转为时间戳的方法 shell中获取时间戳的方式为：date-d$currentTime+%s$date-d@+%cSunMay::PMCST如果要将一个日期转为时间戳，方式如下：1、得到当前时间currentTime=

linux下的删除重复行命令uniq详细介绍和实例一，uniq干什么用的文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个