自己动手做一个压缩软件:从选库到打包上线
去年我想给公司内部做个打包工具,需求很土:把一堆日志文件压成一个小包,能双击解开就行。一开始我琢磨着"自己写个压缩算法多酷",折腾两周才明白,压缩算法这东西轮不到我发明。真正要干的活,是把现成的库拼起来,再把体验磨顺。
所以这篇不聊信息论,聊工程上怎么做。如果你也打算写一个压缩软件,下面这些是我踩坑之后留下来的东西。

先想清楚压缩的是什么东西
压缩软件其实干两件不同的事:一件是把多个文件打成一个包,叫归档;另一件是把数据本身的体积变小,叫压缩。zip 和 7z 是两件事一起干,gz 只干第二件,你没法用 gzip 直接压一个文件夹,得先 tar 一下,这就是 Linux 上 tar.gz 的由来。

想明白这个,数据结构就定了:归档那层要记录相对路径、时间戳、权限、CRC 校验,压缩那层只处理字节流。我见过不少人一上来就把两件事搅在一起写,写到后面完全改不动。

语言和压缩库怎么选
我试过三条路。C/C++ 直接调 zlib 和 LZMA SDK,性能最好,但内存管理得自己兜着;Go 有标准库 compress/flate,还自带 archive/zip,两天能跑出原型;Python 的 zipfile 和 lzma 模块更省事,缺点是压大文件速度感人,我实测压一个 2GB 的日志目录,Python 脚本跑了 6 分钟,Go 版本 40 秒。
算法本身,常见的就这几个:
- DEFLATE(zlib):zip 的默认算法,压缩率一般,解压速度能上 300MB/s,兼容性无敌
- LZMA2:7z 用的,同样内容比 zip 小 25% 到 30%,代价是压缩慢、吃内存
- Zstandard:Facebook 出的,level 3 的速度和 gzip 差不多,压缩率更好,现在很多场景在替掉 gzip
- Brotli:文本压缩率很能打,网页传输常用,但通用归档工具支持得还少
一个能跑起来的最小实现
我的做法是先砍到只剩主干,能压能解就行,其他功能后面再加。大概这几步:
- 定义一个索引结构,记录每个文件的相对路径、原始大小、压缩后大小、CRC32
- 遍历目录,把文件内容读成流,逐个送进压缩库,写进输出文件
- 索引序列化后放在包尾,同时写上魔数和版本号,方便以后升级格式
- 解压时先读包尾拿到索引,再按偏移量把文件一个个还原出来
- 加上进度回调,不然压一个几 G 的目录,界面上啥都不动,用户以为程序卡死了
有个坑我印象特别深:文件名编码。Windows 上老工具用 GBK,Linux 默认 UTF-8,跨平台解压经常乱码。我的处理是统一按 UTF-8 存,再加一个标志位,碰到老包就按 GBK 兜底。
另一个坑是内存。LZMA2 压大文件时窗口开得大,一个 4GB 的包能吃掉好几个 G 内存,32 位程序直接崩。解决办法是分块压缩,每块 8MB 到 64MB,块之间相互独立。压缩率会掉一两个点,但稳定得多。
界面和打包这关别偷懒
功能跑通只是开始。我见过太多人卡在最后一步:程序在自己电脑上好好的,发给同事就报缺 DLL。Windows 上要么静态链接,要么老老实实把运行库带上;macOS 要签名和公证,不然用户双击就被系统拦下来;Linux 相对省心,但 glibc 版本又是个雷。
还有个细节值得做:右键菜单集成。压缩软件的使用场景里,一大半是"选中文件、右键、压缩"。这功能不难,但有没有它,顺手程度差出一大截。
总结一下我的判断:做压缩软件,算法从来不是门槛,库都摆在那儿;真正耗时间的是格式设计、边界情况、跨平台打包这些琐碎事。想练手的话,用 Go 或 Python 写个 zip 打包器起步,一周能出东西;要做成产品级的工具,做好在上面磨几个月的准备。