由于业务需要 SkyWalking agent 上报的 segment 数据做分析，所以搭了一个 Nginx 集群来转发数据到业务端，但是由于流量很大 Nginx 日志经常被打满，导致 Nginx 挂掉，因此采用 Crontab + Logrotate 实现日志分割。

nginx 默认没有提供对日志文件的分割功能，所以随着时间的增长，access.log 和 error.log 文件会越来越大，尤其是 access.log，其日志记录量比较大，更容易增长文件大小，影响日志写入性能。

Logrotate

logrotate 是一个 Linux系统日志的管理工具。可以对单个日志文件或者某个目录下的文件按时间 / 大小进行切割，压缩操作；指定日志保存数量；还可以在切割之后运行自定义命令。

logrotate 是基于 crontab 运行的，所以这个时间点是由 crontab 控制的，具体可以查询 crontab 的配置文件 /etc/anacrontab。系统会按照计划的频率运行 logrotate，通常是每天。在大多数的 Linux 发行版本上，计划每天运行的脚本位于 /etc/cron.daily/logrotate。

主流 Linux 发行版上都默认安装有 logrotate 包，如果你的 Linux 系统中找不到 logrotate, 可以使用 apt-get 或 yum 命令来安装。

1

yum install -y logrotate

一般 Linux 都已经自带 logrotate，下列命令可以查看是否已安装。

1

rpm -ql logrotate

主配置文件

/etc/logrotate.conf 这个文件是 logrotate 的主配置文件，定义了日志文件分割的通用参数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
# 加载 /etc/logrotate.d 的所有自定义配置文件，自定义配置文件中的配置可以覆盖掉通用配置。
include /etc/logrotate.d

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {
    monthly
    create 0664 root utmp
        minsize 1M
    rotate 1
}

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

自定义配置文件

自定义配置文件在 /etc/logrotate.d 目录下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

# 指定要对哪个路径的哪些文件进行分割
/data/nginx/logs/*.log {
# 按天切割。触发切割时如果时间不到一天不会执行切割。除了 daily，还可以选 hourly，monthly，weekly，yearly；
daily

# 用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
copytruncate

# 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
rotate 3

# 如果日志丢失，不报错继续滚动下一个日志
missingok

# 如果日志是空的就不轮替（也就是空日志不切割）
notifempty

# 当日志文件 >= log-size 的时候就转储
size 1G
}

系统会在每天利用 cron 定时执行 logrotate 日志分割指令。这里我们为了看到效果，不等到系统自动执行，可以手动强制执行一次日志分割。

1
2
3

# -v:显示执行日志
# -f:强制执行分割
logrotate -vf /etc/logrotate.d/nginx

日志分割步骤

实际开发中可以使用 create 代替 copytruncate，它们的区别如下：

但是要注意 create 即使创建新的文件后，如果没有主动通知应用程序，那么应用程序仍然会往旧的文件(即被重命名的那个分割后的文件)写入日志。所以此时在分割后要通知应用程序重新打开新的日志文件进行写入。

1
2
3
4
5
6
7
8
9
10
11
12

/var/log/nginx/*.log {
    daily                      
    rotate 30              
    create
    sharedscripts  # 所有的文件切割之后只执行一次下面脚本，通知nginx重新打开新的日志文件进行后续写入
    postrotate
        if [ -f /run/nginx.pid ]; then
            kill -USR1 `cat /run/nginx.pid`  # 通过USER1信号通知nginx重新打开日志文件
        fi
    endscript
}

一般情况下如果应用程序提供了通知其打开新的日志文件的接口，那么推荐使用 create 续写日志；否则推荐使用 copytruncate 续写日志。

分割文件压缩

通过如下设置对分割后的日志文件压缩

1
2
3
4
5
6
7
8
9

/opt/logtest/*.log {
    daily
    rotate 2
    copytruncate
    missingok
    compress           # 以gzip方式压缩
    nodelaycompress    # 所有分割后的文件都进行压缩
}

一般可以将 nodelaycompress 改为 delaycompress，这样分割后对最新的序号为1的文件不会进行压缩，对其他序号的文件进行压缩，这样可以方便我们查看最新的分割日志。

按照时间分割

按照时间分割可以定时分割出一个日志，比如每天分割一次，配合其他参数可以完成保留最近 n 天日志的功能。以下配置可以实现每天分割一次日志，并且保留最近 30 天的分割日志。

1
2
3
4
5
6
7
8
9

/opt/logtest/*.log {
    daily      # 每天分割一次
    rotate 30  # 保留最近30个分割后的日志文件
    copytruncate
    missingok
    dateext  # 切割后的文件添加日期作为后缀
    dateyesterday # 配合dateext使用，添加前一天的日期作为分割后日志的后缀
    dateformat -%Y-%m-%d  # 格式为2022-02-08 默认添加的日期后缀格式为 yyyyMMdd，可以用 dateformat 自定义。
}

按照大小分割

我们可以利用 size 配置指定当日志文件达到多大体积时才进行分割。以下配置指定了每天执行分割，但是只有当日志文件大于 5M 时才真正执行分割操作。

注意：这个配置并不是说日志文件达到指定大小就自动执行分割，它还是要遵循定时任务。比如配置了daily只有到每天指定时间执行分割任务时，才会检查文件大小，对超过指定大小的文件进行分割。

1
2
3
4
5
6
7
8
9

/opt/logtest/*.log {
    daily      # 每天分割一次
    size 5M    # 源文件小于5M时不分割
    rotate 30  # 保留最近30个分割后的日志文件
    create
    missingok
    dateext  # 切割后的文件添加日期作为后缀
    dateyesterday # 配合dateext使用，添加前一天的日期作为分割后日志的后缀
}

每小时分割

logrotate 实现每日定时执行日志分割的原理是通过 cron 定时任务，默认在 /etc/cron.daily 中包含 logrotate 可执行命令，所以系统每天会定时启动 logrotate，然后它会根据配置中具体分割频率（daily、weekly 等）以及其他条件（比如 size）决定是否要真正执行分割操作。

如果我们想要实现每小时进行一次分割，需要如下步骤：

1

cp /etc/cron.daily/logrotate /etc/cron.hourly/

自定义分割

实际业务中 Nginx 日志很快就打满了，因此需要自定义分割

在非 /etc/logrotate.d 目录创建 logrotate 配置文件，这是为了避免被系统的定时任务扫描到该配置而导致重复执行分割。

添加 crontab 计划任务，3种方式

在 root 用户下执行 crontab -e 进入 vim 模式，进行编辑。

1
2
3

crontab -e
# 5分钟进行一次日志切割
*/5 * * * * /usr/sbin/logrotate -v /etc/logrotate_mytime/nginx

或者 在 /var/spool/cron/ 下编辑，使用 crontab -e 命令添加的任务，都是编写在该文件下。

直接执行 crontab 命令

1

crontab */5 * * * * /usr/sbin/logrotate -v /etc/logrotate_mytime/nginx >> /dev/null 2>&1

定时任务命令或需脚本结尾加 &>/dev/null 或 >/dev/null 2>&1 或 1>/dev/null 2>/dev/null

遇到的问题

我们 Nginx 服务是以容器部署的，但发现自定义分割配置并未执行，发现要使用cron服务，先要安装vixie-cron软件包和crontabs软件包，我们 Linux 基础镜像是没有安装这个的。

vixie-cron软件包是cron的主程序。crontabs软件包是用来安装、卸装、或列举用来驱动 cron 守护进程的表格的程序。

安装命令如下

1
2

yum install vixie-cron
yum install crontabs