我第一次拿到生产服务器的 root 密码,是下午三点。老板把 IP 和账号丢到群里,说了句"这台以后归你管",然后就没了。那天我登录上去之后盯着终端看了十分钟,不敢敲任何命令,生怕多按一个 Tab 就把什么东西弄坏。现在回头想,那种紧张是对的,但光紧张没用,该做的准备一件都不能少。
先让这台机器能被还原
说实话,第一次做运维最容易犯的错,是急着去优化、去装软件、去改配置,却忘了给自己留退路。我见过一个同事,接手第二天觉得磁盘乱,直接 `rm -rf` 清了一个目录,结果那是数据库的 binlog 存放位置。没有快照,没有备份,最后花钱找数据恢复公司,捞回来七成。

所以我的建议是,动任何东西之前,先确认三件事:有没有备份、备份能不能还原、还原要多久。备份文件放在同一台机器上等于没备份,放在同一个云厂商的同一个可用区也悬。我自己现在的做法是,重要数据本地留一份、对象存储留一份,每季度真跑一次还原演练,别等出事才发现压缩包是空的。

接手一台陌生服务器,我通常会按这个顺序过一遍:

- 关掉 root 密码登录,改成密钥认证,SSH 端口顺手换掉
- 把自己和同事的账号分开建,别继续用共享账号,否则出问题查不到人
- 开防火墙,只放业务端口和自己的 IP,其余全关
- 装上监控,CPU、内存、磁盘、带宽都设阈值,告警推到手机
- 写一份文档,记录这台机器跑什么服务、配置在哪、依赖哪些外部资源
最后那条最容易被跳过,但它救命的次数最多。半夜被告警叫醒的时候,你不会想靠翻历史命令去猜业务跑在哪。
变更要做在没人的时候
第二个坑是时间点。新人常有的心态是,发现问题就想立刻修,越早越好。但生产环境不是本地开发机,白天每一次 reload 都可能落在用户下单的那一刻。
我吃过一次教训。有回改 nginx 配置,图快没跑 `nginx -t` 就直接 reload,结果配置里少了个分号,整个站点 502。那天是工作日中午,五分钟里客服电话响了七八个。后来我给自己定了规矩:配置改完先测语法,再挑流量低谷操作,改完盯十分钟监控数据,确认没问题再走人。
讲真,运维这活儿的技术门槛没那么高,真正难的是克制。能不重启就不重启,能灰度就灰度,能改一台就别一次改十台。你现在省下的十分钟,可能要用两个小时的事故复盘来还。
还有一点,所有变更都要留下记录。改了什么、几点改的、为什么改、改完怎么验证的,哪怕就写在群里发一条消息。我当时觉得自己记得住,三个月后排查一个老问题,完全不记得某条 iptables 规则是谁加的。
最后说个心态问题。第一次做运维,别怕承认自己不懂。看不懂的 cron 任务、来路不明的进程、突然冒出来的定时脚本,先查清楚再动,实在拿不准就问,别凭感觉 kill 掉。我现在的判断标准很简单:这台机器上的每一样东西,我能不能说出它是干嘛的。说不出来,就说明我的交接还没做完。