Linux 下配置滚动日志之 logrotate

日志是个好东西,便于定位历史问题,但记录太多,不滚动,不除旧总暴盘的时候。如果是用日志框架输出的日志,像 Log4j 或 Logback 通过选择具有滚动特性的 Appender 就能实现日志的滚动,并删除旧的归档日志文件。但也有在程序当中难以控制的日志输出文件,这用的话必须采取事后补救措施,程序尽管往一个日志文件里写,由另一个程序来对该日志文件进行归档,清理操作。

与此相关的工具,我们可以找到以下几个

  1. logrotate, 如今的多数 Linux 发布版都自带了,感觉有一种主场优势。github 上
    logrotate/logrotate 仍活跃着

  2. newsyslog, FreeBSD 和 Mac 系统自带,应该不常用。Mac OS 下可以看下配置文件
    /etc/newsyslog.conf

  3. cronolog, 原本的官网 www.cronolog.org 全是日文了,找到它的快照 fleible web log
    rotation, github 上 fordmason/cronolog 最近更新是五年前

  4. rotatelogs, 出自于 Apache HTTP 项目, Apache HTTP server 用它滚动访问和错误日志

本人最为推崇使用第一个工具 logrotate, 因为多数 Linux 系统自带,不像 cronolog 和 rotatelogs
需要额外安装。它也有着更完备的功能,下面慢慢领略

logrotate 的工作机制

Linux 下默认有一个每日执行的 Cron Job,配置在 /etc/cron.daily/logrotate,文件内容为(以 centos7 为例)

#!/bin/sh
 
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

上面的意思是说,Linux 每日使用配置文件 /etc/logrotate.conf 执行命令 logrotate, 并且执行的状态写在 /var/lib/logrotate/logrotate.status 文件中。我们可以查看该状态记录文件以确认 logrotate 的实际行为。

logrotate 本身默认执行间隔都是每日一次,所以即使在自己配置中用了 hourly 也是没用的,除非我们把上面的 logrotate/etc/cron.daily 移入到 /etc/cron.hourly 目录中去。

在 Ubuntu 中的 /etc/cron.daily/logrotate 也类似,总之都是要应用 /etc/logrotate.conf 配置文件。

该配置文件主要内容参考如下

#以下五行是日志滚动的全局默认配置
weekly #默认每周一个日志归档
rotate 4 #最多保存 4 个归档
create #日志滚动后创建一个新的日志文件
dateext #归档文件名加上日期后缀
#compress #归档文件是否启用压缩
 
# 包含 /etc/logrotate.d/ 目录中的所有配置文件
include /etc/logrotate.d
 
# 这是一个指定日志文件归档配置样例
/var/log/wtmp {
    monthly
    create 0664 root utmp
	minsize 1M
    rotate 1
}

所以我们希望对某个日志文件进行自动归档,配置可以直接写在 /etc/logrotate.conf 文件中,像 /var/log/wtmp {… 那段一样,也可以在目录 /etc/logrotate.conf 中创建一个单独的配置文件,强烈建议采用后者。

创建自己的 logrotate 配置

配置文件可以参考 /etc/logrotate.d 目录中的几个现实例子,在 Centos7 下可以看到 bootlog, chrony, syslog, wpa_supplicant, yum 这样的配置文件。完整配置说明请参照 logrotate(8) - Linux man page。

假如,我们需要对 httpd 的访问日志进行滚动,可以在 /etc/logrotate.d/ 目录中创建文件 httpd_access_log, 内容放上

/var/log/httpd/access.log {
    rotate 5
    size 20M
    compress
    copytruncate
    dateext
    sharedscripts
    postrotate
        /usr/bin/killall -HUP httpd
    endscript
}

上面的配置可以在每一天,如果日志文件 /var/log/httpd/access.log 达到 20 M 的话,就会进行归档生成

/var/log/httpd/access-20180601.gz

并且把原日志文件 /var/log/httpd/access.log 清空,还给 httpd 进程发送一个 HUP 信号。

最多保留有 5 个归档日志文件,如果上面没有 dateext 配置项的话,生成的归档文件将会是 access.1.gz, access.2.gz 这样的文件名。

配置文件中更多配置选项还是请参考 logrotate(8) - Linux man page,这里不具体解释它的选项,只简单举例说明一下借助配置项可以实现什么

  • 可以在归档的时候发送邮件
  • 可以设定归档文件后缀中的日期格式
  • 归档日志可存储到别的目录中,默认存在同一目录中
  • 归档前后都可以执行自定义的脚本
  • 匹配多个日志文件是可指定脚本是针对每个日志文件触发,还是只触发一次

文件 /etc/logrotate.d/httpd_access_log 创建好了静静的躺在哪儿即可,不需要作任何的服务重启操作,第二天就可以看到结果,实在是等不及的话就用 date 命令修改系统时间,需谨慎,别造成运行中程序日期错乱。

调试配置文件

要用到 logrotate 命令了,可以 logrotate /etc/logrotate.conf, 这会触发到所有所有的日志滚动操作,应该不是我们想要的,所以应该简单的

logrotate -d -f /etc/logrotate.d/httpd_access_log

加了一个 -d (–debug), 相当于干运行,能看到下面的模拟操作输出

$ logrotate -d -f /etc/logrotate.d/httpd_access_log
reading config file /etc/logrotate.d/httpd_access_log
Allocating hash table for state file, size 15360 B

Handling 1 logs

rotating pattern: /var/log/httpd/access.log forced from command line (5 rotations)
empty log files are rotated, old logs are removed
considering log /var/log/httpd/access.log
    log needs rotating
rotating log /var/log/httpd/access.log, log->rotateCount is 5
dateext suffix '-20211001'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
glob finding old rotated logs failed
copying /var/log/httpd/access.log to /var/log/httpd/access.log-20180601
truncating /var/log/httpd/access.log
compressing log with: /bin/gzip

如果想看到它的实际效果的话就把其中的 -d 去掉

$ logrotate -f /etc/logrotate.d/httpd_access_log

注意,前面加上了一个 -f (–force), 就是把不管日志文件大小是否符合要求,强制执行日志滚动操作

激进一点的话,还可以修改系统时间来触发 Cron Job 中 logrotate 的执行,比如今天是 2021-10-02, 改成 2 号

$ sudo date -s 2021-10-02

过一会就可以去查看日志文件是否滚动了,或是 logrotate 本身的状态日志 /var/lib/logrotate/logrotate.status。

多日志文件与通配符

一个配置条目 日志文件 { 配置项 } 不仅仅支持一个日志文件,可以配置多个文件或使用通配符,如

/var/log/httpd/access.log /var/log/httpd/error.log {
....
}
 
# 或
/var/log/httpd/access.log
/var/log/httpd/error.log {
...
}

通配符的形式

/var/log/news/* {
...
}
 
/var/log/news/*.log {
...
}
 
/var/log/*/stdout.log {
...
}
 
/var/log/*/*.log {
...
}

不仅文件名处可以用通配符,目录处也能用通配符。例如最后那个配置 /var/log//.log {…} 将会对 /var/log/ 下所有目录中的 *.log 文件产生效果。比如下面那样的文件

/var/log/aa/x.log
/var/log/bb/y.log
/var/log/cc/z.log

针对多个日志文件时,归档文件也会生成在相应日志所在目录中。有了多日志文件与通配符的支持,能够通过一个配置对系统中众多日志文件采取一致的行动。

如果是用 > 重定向输出的日志,如 test_app > stdout.log, copytruncate 则无法裁剪原始日志文件 stdout.log, 它将持续增涨下去。而用 >> 就没问题了,test-app >> stdout.log,日志滚动后 stdout.log 大小将变为零。

热门文章

暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法,在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较,从而确定目标数是在中间数的左边还是右边,将查…
暂无图片
编程学习 ·

GMX 命令分类列表

建模和计算操作命令: 1.1 . 创建拓扑与坐标文件 gmx editconf - 编辑模拟盒子以及写入子组(subgroups) gmx protonate - 结构质子化 gmx x2top - 根据坐标生成原始拓扑文件 gmx solvate - 体系溶剂化 gmx insert-molecules - 将分子插入已有空位 gmx genconf - 增加…
暂无图片
编程学习 ·

一文高效回顾研究生课程《数值分析》重点

数值分析这门课的本质就是用离散的已知点去估计整体,就是由黑盒子产生的结果去估计这个黑盒子。在数学里这个黑盒子就是一个函数嘛,这门课会介绍许多方法去利用离散点最大化地逼近这个函数,甚至它的导数、积分,甚至微分方程的解。…
暂无图片
编程学习 ·

在职阿里5年,一个28岁女软测工程师的心声

简单的先说一下,坐标杭州,14届本科毕业,算上年前在阿里巴巴的面试,一共有面试了有6家公司(因为不想请假,因此只是每个晚上去其他公司面试,所以面试的公司比较少) ​ 编辑切换为居中…
暂无图片
编程学习 ·

字符串左旋c语言

目录 题目: 解题思路: 第一步: 第二步: 第三步: 总代码: 题目: 实现一个函数,可以左旋字符串中的k个字符。 例如: ABCD左旋一个字符得到BCDA ABCD左旋两个字符…
暂无图片
编程学习 ·

设计模式--观察者模式笔记

模式的定义与特点 观察者(Observer)模式的定义:指多个对象间存在一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式&#xf…
暂无图片
编程学习 ·

睡觉突然身体动不了,什么是睡眠痽痪症

很多朋友可能有这样的体验,睡觉过程中突然意识清醒,身体却动弹不了。这时候感觉非常恐怖,希望旁边有一个人推自己一下。阳光以前也经常会碰到这样的情况,一年有一百多次,那时候很害怕晚上到来,睡觉了就会出…
暂无图片
编程学习 ·

深入理解C++智能指针——浅析MSVC源码

文章目录unique_ptrshared_ptr 与 weak_ptrstd::bad_weak_ptr 异常std::enable_shared_from_thisunique_ptr unique_ptr 是一个只移型别(move-only type,只移型别还有std::mutex等)。 结合一下工厂模式,看看其基本用法&#xff…
暂无图片
编程学习 ·

@TableField(exist = false)

TableField(exist false) //申明此字段不在数据库存在,但代码中需要用到它,通知Mybatis-plus在做写库操作是忽略它。,.
暂无图片
编程学习 ·

Java Web day15

第十二章文件上传和下载 一、如何实现文件上传 要实现Web开发中的文件上传功能,通常需要完成两步操作:一.是在Web页面中添加上传输入项;二是在Servlet中读取上传文件的数据,并保存到本地硬盘中。 需要使用一个Apache组织提供一个…
暂无图片
编程学习 ·

【51nod 2478】【单调栈】【前缀和】小b接水

小b接水题目解题思路Code51nod 2478 小b接水 题目 输入样例 12 0 1 0 2 1 0 1 3 2 1 2 1输出样例 6解题思路 可以发现最后能拦住水的都是向两边递减高度(?) 不管两个高积木之间的的积木是怎样乱七八糟的高度,最后能用来装水的…
暂无图片
编程学习 ·

花了大半天写了一个UVC扩展单元调试工具

基于DIRECTSHOW 实现的,用的是MFC VS2019. 详见:http://www.usbzh.com/article/detail-761.html 获取方法 加QQ群:952873936,然后在群文件\USB调试工具&测试软件\UVCXU-V1.0(UVC扩展单元调试工具-USB中文网官方版).exe USB中文网 USB中文…
暂无图片
编程学习 ·

贪心(一):区间问题、Huffman树

区间问题 例题一:区间选点 给定 N 个闭区间 [ai,bi]请你在数轴上选择尽量少的点,使得每个区间内至少包含一个选出的点。 输出选择的点的最小数量。 位于区间端点上的点也算作区间内。 输入格式 第一行包含整数 N,表示区间数。 接下来 …
暂无图片
编程学习 ·

C语言练习实例——费氏数列

目录 题目 解法 输出结果 题目 Fibonacci为1200年代的欧洲数学家,在他的着作中曾经提到:「若有一只免子每个月生一只小免子,一个月后小免子也开始生产。起初只有一只免子,一个月后就有两只免子,二个月后有三只免子…
暂无图片
编程学习 ·

Android开发(2): Android 资源

个人笔记整理 Android 资源 Android中的资源,一般分为两类: 系统内置资源:Android SDK中所提供的已经定义好的资源,用户可以直接拿来使用。 用户自定义资源:用户自己定义或引入的,只适用于当前应用的资源…
暂无图片
编程学习 ·

零基础如何在短时间内拿到算法offer

​算法工程师是利用算法处理事物的职业 算法(Algorithm)是一系列解决问题的清晰指令,也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。 如果一个算法有缺陷,或不适合于某个问题,执…
暂无图片
编程学习 ·

人工智能:知识图谱实战总结

人工智能python,NLP,知识图谱,机器学习,深度学习人工智能:知识图谱实战前言一、实体建模工具Protegepython,NLP,知识图谱,机器学习,深度学习 人工智能:知识图…
暂无图片
编程学习 ·

【无标题】

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…