刚工作那会儿,我写了个统计Nginx日志的脚本,逻辑简单得不能再简单:读日志文件,逐行判断状态码,最后打印总数。跑完一看,输出是0。我盯着屏幕看了十分钟,文件里明明有八十多万行。后来才知道,问题出在那个不起眼的竖线上。
管道这东西,看着就是把A的输出喂给B,顺手得很。但它每一段都是独立的进程,很多坑就藏在这个"独立"上。下面这几个是我这些年真踩过的,有的只是浪费半小时,有的差点让线上数据回不来。

管道里的变量怎么就不见了
开头说的那个脚本,核心大概是这么写的:cat access.log 接一个竖线,然后 while read line 循环累加变量,循环结束再 echo 那个变量。结果永远是0或者空。

原因不复杂:竖线右边的 while 被塞进了一个子shell里执行,变量在子shell里加,父shell根本不知道。改法有几种,我现在基本只用第一种:

- 用输入重定向代替管道:while read line; do ...; done < access.log,循环跑在当前shell里,变量正常保留
- bash 4.2以上可以开 shopt -s lastpipe,让管道最后一段在当前shell执行,但要注意job control得关掉
- 直接用awk一行搞定,统计这种活儿awk比shell循环快几十倍,我后来全换成awk了
- 非要保留管道,就把结果写到临时文件,循环外再读,笨但不会错
pipefail没开,备份文件只剩20字节
这个坑比较疼。当时写数据库备份脚本,mysqldump 接竖线接 gzip 重定向到文件。跑完检查退出码,是0,脚本打印"备份成功",我就没管了。
第二天要恢复数据,打开那个gz文件,解压报错。文件大小20字节。查了半天才发现,那天备份时磁盘快满了,mysqldump 中途报错退出,但管道后面 gzip 正常收尾,返回0。shell默认只看管道最后一个命令的退出码,前面死没死它不管。
解决办法就是在脚本开头加 set -o pipefail。加了之后,管道里任何一个命令非0退出,整条管道的退出码就是非0。我现在所有脚本第一行都是 set -euo pipefail,这三个选项救过我很多次。另外备份脚本还加了一条:文件大小小于1MB就报警,光看退出码不够。
还有个相关的坑,set -e 加上 pipefail 之后,类似 cmd 接竖线接 head -n 1 的写法会莫名退出。因为 head 读够一行就把管道关了,前面的 cmd 收到 SIGPIPE 挂掉,退出码141,整个管道被判失败。我一般的处理是加 || true,或者干脆不用 head,用 sed -n '1p'。
缓冲和退出码的暗坑
有段时间我盯线上日志,用 tail -f 接 grep 过滤关键字,敲完回车等了半分钟,一条都不出。切到另一个窗口看,日志明明在刷。这是缓冲的问题:grep 的输出指向管道或文件时走的是块缓冲,攒够4KB才吐一次。加 --line-buffered 就好了,或者用 stdbuf -oL 包一层。
还有 ps aux 接 grep 查进程,结果里永远多一条自己。因为 grep 进程本身也带那个关键字。老办法是再接一个 grep -v grep,现在我都用 pgrep -f,省事。
下面几条是我现在写脚本的固定习惯,基本能躲掉大部分管道相关的翻车:
- 脚本开头固定 set -euo pipefail,没有例外
- 调试管道失败时看 PIPESTATUS 数组,它记录管道里每个命令各自的退出码,比 $? 有用得多
- 处理文件名走 find -print0 接 xargs -0,文件名里有空格或换行也不会炸
- 别写 cat file 接竖线接 grep,grep 直接读文件更快,管道本身有开销
- 大文件传输用管道前先想清楚失败怎么回滚,tar 接竖线接 tar 这种写错一次很麻烦
说到底,管道就是把几个进程串起来,它不是语法糖,每段都有自己的生命周期、缓冲区和退出码。把它当一整个命令看,坑就来了。我现在写管道前会先问自己一句:前面这段要是挂了,后面能知道吗?答不上来,就先加 pipefail。