在 CentOS 系统的日常运维中,临时文件的无序增长是一个容易被忽视却又影响深远的问题。应用程序运行时产生的缓存、会话文件、上传临时分片,以及包管理器下载的元数据,都会默认堆积在 /tmp、/var/tmp 或各应用自身的临时目录中。这些文件单个看似微不足道,但累积起来不仅会蚕食宝贵的磁盘空间,还可能因 inode 耗尽导致系统无法创建新文件,甚至引发服务异常。虽然 CentOS 7 及以上版本内置了 systemd-tmpfiles 机制来执行基础清理,但它通常只关注文件的存在时长,而非“任务是否已经结束”。对于需要精确控制清理时机的场景——比如某个批处理脚本跑完后必须立即回收其产生的中间文件——单纯依赖系统默认策略往往不够。
一、为什么“执行后清理”比“定时清理”更值得关注
许多运维人员习惯的做法是编写一个独立的清理脚本,让 cron 每天凌晨跑一次,删除 /tmp 下若干天前的文件。这种做法有其合理性,尤其适合处理那些生命周期不确定、来源分散的临时文件。但它存在一个天然的缺陷:清理动作与业务任务的执行节奏是脱钩的。
设想这样一个场景:一个数据导出任务在凌晨 1 点开始运行,生成一个数 GB 的中间文件存放在 /tmp/export_cache 下,任务本身在 1 点 20 分结束,中间文件随即失去用途。如果清理任务安排在凌晨 2 点,而清理条件又是“修改时间超过 24 小时”,那么这个文件要等到第二天凌晨才会被删除,白白占用近一天的磁盘空间。反过来,如果清理条件放宽到“删除 /tmp 下所有文件”,又可能在任务尚未结束时误删正在使用的文件,造成任务失败。
因此,“定时任务执行结束后自动清理”的本质诉求是:将清理动作绑定到任务生命周期的末端,而不是绑定到某个固定的时钟时刻。实现这一目标有两条主要路径:一是让 cron 任务本身在完成业务逻辑后直接调用清理函数;二是利用 systemd 的服务依赖与 ExecStopPost 机制,在服务退出后触发清理。前者简单直接,适合大多数脚本化任务;后者更规范,适合已经用 systemd 管理的服务化任务。
二、基于 cron 与 Shell 脚本的“执行后清理”方案
这是最通用、门槛最低的方式。核心思路是把业务逻辑和清理逻辑写进同一个脚本,在业务命令执行完毕后,无论成功还是失败,都执行清理函数。
1. 脚本结构设计
一个健壮的“执行后清理”脚本应当包含三个部分:前置准备、业务执行(含错误捕获)、清理收尾。下面是一个模板示例:
#!/bin/bash
# /usr/local/bin/batch_job_with_cleanup.sh
# 定义临时工作目录,建议使用 mktemp 生成唯一目录,避免并发冲突
WORK_DIR=$(mktemp -d /tmp/batch_job.XXXXXX)
LOG_FILE="/var/log/batch_job.log"
# 清理函数:删除本次任务专属的临时目录
cleanup() {
local exit_code=$?
echo "$(date '+%Y-%m-%d %H:%M:%S') [CLEANUP] 开始清理临时目录: ${WORK_DIR}" >> "${LOG_FILE}"
rm -rf "${WORK_DIR}"
echo "$(date '+%Y-%m-%d %H:%M:%S') [CLEANUP] 清理完成,原任务退出码: ${exit_code}" >> "${LOG_FILE}"
# 保留原始退出码,避免清理动作掩盖业务失败状态
exit ${exit_code}
}
# 注册清理函数:无论脚本正常退出、出错退出还是被信号中断,都会触发
trap cleanup EXIT INT TERM
# 业务逻辑:所有中间产物均写入 WORK_DIR
echo "$(date '+%Y-%m-%d %H:%M:%S') [START] 任务开始,工作目录: ${WORK_DIR}" >> "${LOG_FILE}"
# 模拟业务命令:此处替换为实际的数据处理、备份、编译等操作
# 例如:tar -czf "${WORK_DIR}/backup.tar.gz" /data/to/backup
# 例如:python3 /opt/scripts/process.py --output "${WORK_DIR}/result.csv"
echo "processing..." > "${WORK_DIR}/intermediate.file"
# 模拟一个可能失败的命令
if ! some_business_command; then
echo "$(date '+%Y-%m-%d %H:%M:%S') [ERROR] 业务命令执行失败" >> "${LOG_FILE}"
exit 1
fi
echo "$(date '+%Y-%m-%d %H:%M:%S') [END] 任务正常结束" >> "${LOG_FILE}"
# 脚本到此结束,trap 会自动调用 cleanup
这个脚本的关键在于 trap 命令。它将 cleanup 函数绑定到 EXIT 信号上,这意味着无论脚本以何种方式终止——正常走完、exit 1 主动退出、甚至收到 SIGINT 被 Ctrl+C 中断——清理逻辑都会被执行。这比在脚本末尾简单地写一行 rm -rf 要可靠得多,因为后者在业务命令失败导致脚本提前退出时会被跳过。
2. 配置 cron 定时触发
脚本准备就绪后,通过 crontab -e 将其加入定时任务。假设需要每天凌晨 3 点执行:
0 3 * * * /usr/local/bin/batch_job_with_cleanup.sh >> /var/log/batch_job_cron.log 2>&1
这里将脚本自身的标准输出和标准错误重定向到单独的日志文件,便于与脚本内部的日志区分排查。需要注意的是,cron 执行环境与用户登录 shell 的环境变量不同,脚本中所有命令建议使用绝对路径,或在 crontab 文件顶部显式设置 PATH 变量:
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
0 3 * * * /usr/local/bin/batch_job_with_cleanup.sh >> /var/log/batch_job_cron.log 2>&1
3. 处理并发执行时的清理冲突
如果定时任务可能重叠执行(例如前一次运行时间过长,下一次触发时间已到),使用固定的工作目录会导致清理逻辑互相干扰。mktemp -d 生成唯一目录的做法天然避免了这个问题:每次运行拥有独立的临时空间,清理时只删除自己的目录,不会误伤其他实例。如果业务场景不允许并发(比如数据库备份必须串行),则应在脚本开头加入锁机制:
LOCK_FILE="/var/run/batch_job.lock"
if [ -e "${LOCK_FILE}" ]; then
echo "上一次任务尚未结束,本次退出"
exit 0
fi
touch "${LOCK_FILE}"
trap 'rm -f "${LOCK_FILE}"; cleanup' EXIT INT TERM
这样既保证了业务串行,又确保锁文件会在脚本退出时被清除。
三、基于 systemd 定时器与服务单元的清理方案
对于 CentOS 7 及以上版本,systemd 提供了比 cron 更精细的控制能力。通过 ExecStart 执行业务脚本,通过 ExecStopPost 在服务退出后执行清理命令,可以实现严格的“执行后清理”语义。
1. 创建服务单元
创建 /etc/systemd/system/batch-job.service:
[Unit]
Description=Batch processing job with post-execution cleanup
After=network.target
[Service]
Type=oneshot
# 业务命令:可以是直接调用脚本,也可以是一条复杂命令
ExecStart=/usr/local/bin/batch_job_main.sh
# 关键:无论服务退出状态如何,ExecStopPost 都会执行
ExecStopPost=/usr/local/bin/batch_job_cleanup.sh
# 可选:设置超时,防止清理脚本本身卡死
TimeoutStopSec=300
Type=oneshot 告诉 systemd 这是一个一次性执行的任务,执行完毕即视为服务结束。ExecStopPost 是 systemd 提供的钩子,它在服务的主进程退出之后、服务被标记为停止之前运行。与 cron 方案中的 trap 类似,它不依赖于业务命令的成功与否,因此适合做兜底清理。
2. 创建定时器单元
创建 /etc/systemd/system/batch-job.timer:
[Unit]
Description=Run batch job daily at 3 AM
[Timer]
OnCalendar=*-*-* 03:00:00
Persistent=true
# 如果系统在 3 点时处于关机状态,开机后会补跑一次
RandomizedDelaySec=300
# 随机延迟最多 5 分钟,避免多台机器同时启动任务造成资源争抢
[Install]
WantedBy=timers.target
Persistent=true 是 systemd 定时器相对于 cron 的一个实用优势:如果触发时间点系统未运行,开机后会自动补执行一次。而 RandomizedDelaySec 在批量服务器环境中可以有效分散负载峰值。
3. 启用与验证
sudo systemctl daemon-reload
sudo systemctl enable batch-job.timer
sudo systemctl start batch-job.timer
查看定时器状态和下次触发时间:
systemctl list-timers --all | grep batch-job
查看最近一次执行的日志与清理结果:
journalctl -u batch-job.service -n 50 --no-pager
4. 两种方案的取舍
cron + trap 的方案优势在于轻量、直观、无需理解 systemd 单元语法,适合快速部署在大量已有脚本上。systemd 方案的优点则在于日志统一(通过 journalctl 管理)、依赖关系可控(可以要求网络就绪后再执行)、以及 Persistent 补跑机制。如果组织内已经全面使用 systemd 管理服务,采用后者在可维护性上更胜一筹。
四、不可忽视的兜底:系统级临时文件清理
无论业务脚本自身的清理逻辑多么完善,总会有意外情况导致临时文件残留:脚本被 kill -9 强制终止时 trap 不会执行;清理函数本身因权限问题失败;或者某些第三方程序压根不遵循你的清理约定。因此,一套完整的策略还需要系统级的兜底机制。
CentOS 7 及以上版本默认启用了 systemd-tmpfiles-clean.timer,它定期根据 /usr/lib/tmpfiles.d/ 和 /etc/tmpfiles.d/ 下的配置清理临时目录。可以通过以下命令查看现有规则:
systemd-tmpfiles --cat-config
默认的 /usr/lib/tmpfiles.d/tmp.conf 通常包含类似这样的行:
q /tmp 1777 root root 10d
q /var/tmp 1777 root root 30d
其中 10d 表示清理超过 10 天未被访问的文件。如果希望更积极地清理 /tmp 下超过 7 天的残留文件,可以在 /etc/tmpfiles.d/ 下创建覆盖配置:
sudo vi /etc/tmpfiles.d/local-tmp.conf
内容为:
q /tmp 1777 root root 7d
这里的 q 表示“在清理时处理该目录下的文件”,1777 是权限位(粘滞位),root root 是属主属组,7d 是年龄阈值。修改后无需重启,下次 systemd-tmpfiles-clean.timer 触发时即生效。也可以手动执行一次验证:
sudo systemd-tmpfiles --clean
需要留意的是,systemd-tmpfiles 的清理依据是文件的访问时间(atime)、修改时间(mtime)或状态变更时间(ctime),具体取决于配置中的年龄字段写法,它不会判断文件是否正被某个进程打开。因此,对于正在运行的长周期任务,兜底清理的时间阈值不宜设置得过短,通常 7 天以上是较为安全的选择。
五、日志记录与审计
“执行后清理”的一个常见隐患是:清理动作静默失败,运维人员毫不知情,直到磁盘告警才发现问题。因此,无论采用哪种方案,都应当为清理环节保留可追溯的记录。
在脚本方案中,cleanup 函数内写入日志是必要的。日志应至少包含:清理触发时间、清理目标路径、清理操作的退出状态。如果 rm -rf 失败(例如文件被 immutable 属性锁定),日志中应当体现出来。
在 systemd 方案中,ExecStopPost 的输出会自动进入 journal,通过 journalctl -u batch-job.service 即可查看。建议在清理脚本中也显式记录关键信息,便于在不依赖 journal 轮转的情况下长期保留审计线索。
此外,可以定期检查 cron 日志以确认任务是否按计划执行:
grep CRON /var/log/cron | grep batch_job
对于 systemd 定时器,则使用:
journalctl -u batch-job.timer --since "24 hours ago"
六、总结
CentOS 下实现定时任务执行结束后的自动清理,核心原则是将清理逻辑与任务生命周期绑定,而非与时钟绑定。对于脚本化任务,trap ... EXIT 是最简洁可靠的手段;对于 systemd 管理的服务,ExecStopPost 提供了声明式的清理钩子。两者都能保证即使在业务命令失败的情况下,清理动作依然被执行。在此基础上,保留系统级的 systemd-tmpfiles 兜底策略,并配合充分的日志记录,才能构成一个既高效又安全的临时文件治理体系。
最后需要强调的是,任何涉及 rm -rf 的清理逻辑,在生产环境部署前都应当在测试环境中验证路径变量的展开结果。脚本中用于存放临时文件的目录变量,务必在 rm -rf 之前做一次非空校验,例如:
if [ -n "${WORK_DIR}" ] && [ -d "${WORK_DIR}" ]; then
rm -rf "${WORK_DIR}"
fi
这一行简单的判断,可以在变量因意外原因为空时,阻止 rm -rf / 这类灾难性后果的发生。自动化清理的价值在于释放运维负担,而安全校验的价值在于确保这份负担不会变成事故。
相关内容
