Nginx系列-日志切割

随着业务的发展,我们的线上用户访问量往往会越来越大,这时候就会产生很多访问日志。现有的日志都会存在 access.log 文件中,但是随着时间的推移,这个文件的内容会越来越多,体积会越来越大,不便于运维人员查看,所以我们可以通过把这个大的日志文件切割为多份不同的小文件作为日志,切割规则可以以为单位,如果每天有几百G或者几个T的日志的话,则可以按需以每半天或者每小时对日志切割一下。

下面是老猫整理出来的切割nginx的日志的方法。当然是通过我们的shell脚本去执行。具体步骤如下:

手动日志拆分

  1. 创建一个shell可执行文件:cut_my_log.sh,内容为:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    #!/bin/bash
    LOG_PATH="/var/log/nginx/"
    RECORD_TIME=$(date -d "yesterday" +%Y-%m-%d+%H:%M)
    PID=/var/run/nginx/nginx.pid
    mv ${LOG_PATH}/access.log ${LOG_PATH}/access.${RECORD_TIME}.log
    mv ${LOG_PATH}/error.log ${LOG_PATH}/error.${RECORD_TIME}.log

    #向Nginx主进程发送信号,用于重新打开日志文件
    kill -USR1 `cat $PID`
  2. cut_my_log.sh添加可执行的权限:

    1
    chmod +x cut_my_log.sh
  3. 测试日志切割后的结果:

    1
    ./cut_my_log.sh

当然以上的配置信息,大家可以根据自己本身的LOG_PATH以及PID去设置自己的日志原始路径以及pid的路径。

当我们执行该脚本之后我们就能够成功对其进行拆分了,老猫本地拆分结果如下:
日志拆分

并且通过里面的详细信息,我们不难发现,之前的一部分日志已经被顺利拆分到了其他几个文件中,大家可以试试。

自动日志拆分

如果我们每天去做这个拆分动作的时候,其实是愚蠢的,其实在我们的linux中系统中也有定时任务的说法,其用法也和我们Java中的定时任务类似,所以大家也非常容易上手。我们可以利用linux中的crontabs这个插件去实现。具体如何做的如下:

  1. 安装定时任务:

    1
    yum install crontabs
  2. crontab -e 编辑并且添加一行新的任务:

    1
    */1 * * * * /usr/local/nginx/sbin/cut_my_log.sh
  3. 重启定时任务:

    1
    service crond restart
  • 附:常用定时任务命令:

    1
    2
    3
    4
    5
    6
    service crond start         //启动服务
    service crond stop //关闭服务
    service crond restart //重启服务
    service crond reload //重新载入配置
    crontab -e // 编辑任务
    crontab -l // 查看任务列表

定时任务表达式:

Cron表达式是,分为5或6个域,每个域代表一个含义,如下所示:

星期几 年(可选)
取值范围 0-59 0-23 1-31 1-12 1-7 2019/2020/2021/…

常用表达式:

  • 每分钟执行:

    1
    */1 * * * *
  • 每日凌晨(每天晚上23:59)执行:

    1
    59 23 * * *
  • 每日凌晨1点执行:

    1
    0 1 * * *

老猫为了演示的方便,按照上面的步骤将其设置为一分钟执行一次,效果图如下:
日志拆分自动

以上32分以及33分出现的日志已经说明当前的定时任务生效了。当然正常的使用情况我们还是一天跑一次会比较好,例如就像后面的举例,每日凌晨进行执行。

总结

以上老猫介绍了相关日志的切割,包括日志的手动切割以及自动切割。下一章,老猫和大家一起开启nginx中的解析规则的学习。

参考文献:
每天定时为数据库备份:https://www.cnblogs.com/leechenxiang/p/7110382.html

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×