Nginx日志运维笔记

Stella981 等级 202 0 0

在分析服务器运行情况和业务数据时,nginx日志是非常可靠的数据来源,而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用,可以快速进行定位和统计。

1)Nginx日志的标准格式(可参考:http://www.cnblogs.com/kevingrace/p/5893499.html

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '  
             '$status $body_bytes_sent "$http_referer" '  
             '"$http_user_agent" $request_time';

记录的形式如下: 

192.168.28.22 - - [28/Feb/2018:04:01:11 +0800] "GET /UserRecommend.php HTTP/1.1" 200 870 "http://wwww.kevin.www/grace/index.html" 
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)" 320

日志格式说明:
$remote_addr             远程请求使用的IP地址
$remote_user             远端登录名
$time_local                 时间,用普通日志时间格式(标准英语格式)
$request                     请求的第一行
$status                       状态。
$body_bytes_sent     请求返回的字节数,包括请求头的数据
$http_referer             请求头Referer的内容
$http_user_agent     请求头User-Agent的内容
$request_time           处理完请求所花时间,以秒为单位

Apache日志的标准格式

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %T " combined  
    CustomLog log/access_log combined

记录的形式如下: 

192.168.28.23 - frank [28/Feb/2018:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" 
"Mozilla/4.08 [en] (Win98; I ;Nav)"

日志格式说明:
%h     请求使用的IP地址
%l      远端登录名(由identd而来,如果支持的话),除非IdentityCheck设为"On",否则将得到一个"-"。
%u     远程用户名(根据验证信息而来;如果返回status(%s)为401,可能是假的)
%t      时间,用普通日志时间格式(标准英语格式)
%r      请求的第一行
%s     状态。对于内部重定向的请求,这个状态指的是原始请求的状态,---%>s则指的是最后请求的状态。
%b      以CLF格式显示的除HTTP头以外传送的字节数,也就是当没有字节传送时显示'-'而不是0。
\"%{Referer}i\"     发送到服务器的请求头Referer的内容。
\"%{User-Agent}i\"     发送到服务器的请求头User-Agent的内容。
%T      处理完请求所花时间,以秒为单位。
%I       接收的字节数,包括请求头的数据,并且不能为零。要使用这个指令你必须启用mod_logio模块。
%O     发送的字节数,包括请求头的数据,并且不能为零。要使用这个指令你必须启用mod_logio模块。

Nginx 日志字段解释

说明

字段名

示例

主机头

$host

域名 kevin.bo.com

服务器ip

$server_addr

192.168.10.109

端口

$server_port

80

客户ip

$remote_addr

172.17.12.18

客户

$remote_user

-

时间

$time_iso8601

2018-11-04T10:13:40+09:00

状态码

$status

204

发送主体大小

$body_bytes_sent

0

发送总大小

$bytes_sent

140

请求总大小

$request_length

578

请求主体大小

$request_body

-

请求时间

$request_time

0.001

请求方式

$request_method

GET

uri

$uri

/rest/quickreload/latest/18747370

变量

$args

since=1559180602998&_=1559181197999

协议

$server_protocol

HTTP/1.1

-

记录从哪个页面链接访问过来

$http_referer

http://kevin.bo.com/pages/viewpage.action?pageId=18747370

客户端信息

$http_user_agent

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36

客户端真实ip(经过反向代理)

$http_x_forwarded_for

-

编码

$http_accept_encoding

gzip, deflate

当前通过一个连接获得的请求数量

$connection_requests

1

后端ip

$upstream_addr

192.168.10.33:8090

后端状态码

$upstream_status

204

后端响应时间

$upstream_status

0.001

后台缓存

$upstream_cache_status

-

后端接口状态

$upstream_http_x_status

-

配置文件
log_format main '$host\t$server_addr\t$server_port\t$remote_addr\t'
'$remote_user\t$time_iso8601\t$status\t'
'$body_bytes_sent\t$bytes_sent\t$request_length\t'
'$request_body\t$request_time\t$request_method\t'
'$uri\t$args\t$server_protocol\t$cookie_nid\t'
'$http_referer\t$http_user_agent\t$http_x_forwarded_for\t'
'$http_accept_encoding\t$connection_requests\t$upstream_addr\t'
'$upstream_status\t$upstream_response_time\t$upstream_cache_status\t$upstream_http_x_status'; 

2)Nginx日志切割

#!/bin/sh   
# 设置日志文件备份文件名    
#logfilename=`date +%Y%m%d`  
logfilename=`date +\%Y\%m\%d -d "1 days ago"`  
# 设置日志文件原始路径    
logfilepath=/opt/nginx/logs/  
# 设置日志备份文件路径  
backupfilepath=/opt/data/logs/nginx/  
  
LOG_FILE='access error log_mm log_db'  
for j in $LOG_FILE  
do  
        cd ${logfilepath}  
        tar zcvf ${backupfilepath}$j/${logfilename}.tar.gz $j.log  
        rm -rf $j.log  
done  
  
kill -USR1 `cat  /opt/nginx/nginx.pid

===================================================
apache日志切割

#!/bin/bash  
# 获取昨天的日期  
logfilename=`date -d yesterday +%Y_%m_%d`  
today=`date +%Y.%m.%d`  
# 设置日志文件原始路径    
logfilepath=/opt/apache2/logs/  
# 设置日志备份文件路径  
backupfilepath=/opt/data/logs/apache/  
  
echo "get access log:"  
# 打包压缩访问日志文件  
cd ${logfilepath}  
tar zcvf ${backupfilepath}access/${logfilename}.tar.gz access_${logfilename}.log  
rm -rf access_${logfilename}.log  
  
echo "get error log:"  
# 打包压缩错误日志文件  
cd ${logfilepath}  
tar zcvf ${backupfilepath}error/${logfilename}.tar.gz error_${logfilename}.log  
rm -rf error_${logfilename}.log  
  
echo "done @"${today}

==========================================================

3)日志定时清理的脚本

#!/bin/sh  
####################### clear logs #########################  
### nginx ###  
#clear nginx access log(by hour .log) 2 days ago   
/usr/bin/find /opt/data/logs/nginx/access -mtime +2 -name "access.log*" -exec rm -rf {} \;  
  
#clear nginx (access,error,log_mm,log_db) log(by day tar.gz) 10 days ago  
NGINX='access error log_mm log_db'  
for i in $NGINX  
do  
        /usr/bin/find /opt/data/logs/nginx/$i -mtime +10 -name "*tar.gz" -exec rm -rf {} \;  
done  
  
### apache ###   
#clear apache (access,error) log(by day tar.gz) 10 days ago  
APACHE='access error'  
for j in $APACHE  
do  
        /usr/bin/find /opt/data/logs/apache/$j -mtime +10 -name "*tar.gz" -exec rm -rf {} \;  
done  
  
### other log ###  
#clear (txt/mq,txt/auto,txt/man) log(by day .log) 10 days ago  
OTHER='txt/mq txt/auto txt/man'  
for k in $OTHER  
do  
        /usr/bin/find /opt/data/logs/$k -mtime +10 -name "*log" -exec rm -rf {} \;  
done

=============在分析nginx日志时常用命令总结=============

1. 利用grep ,wc命令统计某个请求或字符串出现的次数

比如统计GET /app/kevinContent接口在某天的调用次数,则可以使用如下命令: 
[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log | grep 'GET /app/kevinContent' | wc -l

其中cat用来读取日志内容,grep进行匹配的文本搜索,wc则进行最终的统计。 
当然只用grep也能实现上述功能:
[root@Fastdfs_storage_s1 ~]# grep 'GET /app/kevinContent'  /usr/local/nginx/logs/access.log -c

2. 统计所有接口的调用次数并显示出现次数最多的前二十的URL

[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log|awk '{split($7,b,"?");COUNT[b[1]]++;}END{for(a in COUNT) print  COUNT[a], a}'|
sort -k1 -nr|head -n20 

2722 /
10 /group1/M00/00/00/wKgKylqT3OCAUrqYAAAwK2jUNaY262.png
9 /group1/M00/00/00/wKgKylqUxBOAFo8hAAKHUIZ3K9s443.jpg
6 /group1/M00/00/00/wKgKylqUrceAGkPOAAAwK2jUNaY843.png
4 /group1/M00/00/00/wKgKylqTsFCAdeEuAAKHUIZ3K9s287.png
3 /group2/M00/00/00/wKgKy1qUtu2Acai1AAKHUIZ3K9s555.jpg
2 /favicon.ico
1 /group2/M00/00/00/wKgKy1qT3P-Ae-vQAAKHUIZ3K9s459.png
1 /group2/M00/00/00/wKgKy1qT3P-Ae-vQAAKHUIZ3K9s459.jpg
1 /group1/M00/00/00/wKgKylqUyMuAdkLwAAAwK2jUNaY176.png
1 /group1/M00/00/00/wKgKylqUtuyAA5xrAAKHUIZ3K9s226.jpg
1 /group1/M00/00/00/wKgKylqUscKAa4NXAAKHUIZ3K9s530.jpg
1 /group1/M00/00/00/wKgKylqTsFCAdeEuAAKHUIZ3K9s287.jpg
1 /group1/M00/00/00/wKgKylqT4ESAHdNjAAKHUIZ3K9s730.jpg
1 /group1/M00/00/00/wKgKylqT3-6AbEeUAAKHUIZ3K9s742.png

解释说明:
这里awk是按照空格把每一行日志拆分成若干项,其中$7对应的就是URL,当然具体对应的内容和使用nginx时设置的日志格式有关。
这样就可以通过拆分提取出IP,URL,状态码等信息。split是awk的内置函数,在此的意思是按照“?”将URL进行分割得到一个数组,并赋值给b。
COUNT[b[1]]++表示相同的接口数目加1。sort用来排序,-k1nr表示要把进行排序的第一列作为数字看待,并且结果倒序排列。
head -n20意为取排名前二十的结果。

3. 统计报错的接口

统计nginx日志中报错较多的接口,对于分析服务器的运行情况很有帮助,也可以有针对性的修复bug和性能优化。
[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log|awk '{if($9==500) print $0}'|
awk '{split($7,b,"?");COUNT[b[1]]++;}END{for(a in COUNT) print  COUNT[a], a}'|sort -k 1 -nr|head -n10

先用awk’{if(9==500)print0}’过滤出500错误的日志,然后在此基础上做统计,其思路同2类似!

4. 统计HTTP响应状态码

通过统计响应状态码可以看出服务器的响应情况,比如499较多时可以判断出服务器响应缓慢,再结合3可以找出响应慢的接口,
这样就能有针对性进行性能分析和优化。

[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log |awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}' 
| sort -k 2 -nr

200 2733
304 20
404 11

5. 统计服务器并发量

[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log |grep '10.15.19.138'| awk '{COUNT[$4]++}END{for( a in COUNT) print a,COUNT[a]}'
|sort -k 2 -nr|head -n20

nginx转发请求时可以记录响应请求的服务器IP,先通过grep过滤出某个服务器所有的请求,然后统计各个时间点的并发请求响应的数量即可得到某个服务器的并发量。
$4对应的是响应时间。当然,如果把grep的内容更换成某个接口也就可以统计出该接口对应的并发量了。

6. grep多条件与或操作

有时候我们需要在nginx日志通过多个条件来查找某些特定请求,比如我需要找个某个用户浏览文章的请求,则可以需要同时匹配两个条件:
浏览文章接口GET /app/kevinContent和userId=59h7hrrn。

grep对应的与操作命令如下:
[root@Fastdfs_storage_s1 ~]# grep -E "GET /app/kevinContent.*userId=59h7hrrn" /usr/local/nginx/logs/access.log

grep与命令格式: grep -E “a.*b” file,ab条件同时成立 
而grep或命令的格式为:grep -E “a|b” file ,ab两个条件有一个成立即可。

7. grep打印匹配的前后几行 

有时候我们需要查找某个特定请求的前后几行的请求,以观察用户的关联操作情况。grep提供了一下几条命令: 
# grep -C 5 'parttern' inputfile    //打印匹配行的前后5行。
# grep -A 5 'parttern' inputfile    //打印匹配行的后5行
# grep -B 5 'parttern' inputfile    //打印匹配行的前5行

grep -An  或grep -A n
grep -Bn  或grep -B n
grep -Cn  或grep -C n

如下,打印出access.log日志文件中匹配/app/kevinContent关键字符所在行的前后各10行
[root@Fastdfs_storage_s1 ~]# grep -C 10 'GET /app/kevinContent' /usr/local/nginx/logs/access.log
收藏
评论区

相关推荐

NGINX的 IF AND 和 OR
if的逻辑用法 什么是逻辑用法呢, 就程序中的and、or关系, 就叫做逻辑了. NGINX支持if的 and 与 or 或者 && 与 || 吗? 答案是No. 当你尝试这样配置, 重载nginx时, nginx会报出错误 location /test/ { default_type text/html;
Ubuntu+Flask + Nginx + uWSGI + uWSGI Emperor
前提条件 在我们开始安装Nginx及其他所需软件之前先安装一些前提软件。首先,我们需要PIP与virtualenv: sudo apt-get install python-setuptools sudo easy_install pip sudo pip install virtualenv Nginx ----- 安装并运
nginx日志统计分析
 本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析,具体如下: 1,列出当天访问最多次数的ip地址 cut -d- -f 1 /usr/local/nginx/logs/20160329/access\_2016032913.log |uniq -c | sort -rn | head -20  [ro
Docker 使用入门,创建一个Nginx服务器
**运行环境:** `MAC` **Docker 版本:** `Docker version 17.12.0-ce, build c97c6d6` ### 一、启动Nginx 服务器 > 启动Nginx 服务器,并进入模拟终端 docker run -p 8080:80 --name nginx_web -it nginx /bin/bas
Eg挨蒙—Zabbix监控进程占cpu和内存大小及批量监控端口
监控简介: 通过shell脚本的方式,实现对进程占cpu百分比和内存大小的监控,通过python脚本方式,实现批量监控服务器端口。 一、监控进程占cpu的百分比和内存的大小 1、在agent端编写脚本 \[root@monitor sbin\]$ cat /usr/local/zabbix/scripts/processtatus.sh #!/
Linux下nginx日志文件切分
背景:公司为了日后排查等多种原因考虑,需要开启ngxin的access log,但是由于可能会造成access.log文件过大,不方便查看,故将该文件按天切分。 本文将采用系统自带的logrotate进行日志切分,具体脚本如下: 步骤1: vi /etc/logrotate.d/nginx 脚本内容如下 /usr/local/ngi
Nginx 502 Bad Gateway 的错误的解决方案
我用的是nginx反向代理Apache,直接用Apache不会有任何问题,加上nginx就会有部分ajax请求502的错误,下面是我收集到的解决方案。 一、fastcgi缓冲区设置过小   出现错误,首先要查找nginx的日志文件,目录为/var/log/nginx,在日志中发现了如下错误   2013/01/17 13:33:47 \[err
Nginx SSL+Tomcat集群,request.getScheme() 取到https正确的协议
最近在做一个项目, 架构上使用了 Nginx +tomcat 集群, 且nginx下配置了SSL,tomcat no SSL,项目使用https协议 ![输入图片说明](https://static.oschina.net/uploads/img/201805/18213252_TT7i.png "在这里输入图片标题") 但是,明明是https url请
Nginx 搭建直播流服务
搭建直播流服务器 ======== 技术 -- * Nginx * nginx-rtmp-module-1.1.11 (nginx 插件) 步骤 -- 1. 下载nginx 和 nginx-rtmp-module 源文件 2. 解压 nginx 和 nginx-rtmp-module 3. ./configure --add-modul
Nginx 日志分析命令
查看日志存放目录 \# find / -name access.log /var/log/nginx/access.log cd /var/log/nginx IP相关统计 ------ **统计IP访问量(独立ip访问数量)** awk '{print $1}' access.log | sort -n | uniq | wc -l
Nginx 的负载均衡模式有哪些?它的实现原理是什么?
![](https://oscimg.oschina.net/oscnet/954f1527-ee59-4185-acbb-af9b14ea3f40.png) > 文章来源:https://kaiwu.lagou.com/course/courseInfo.htm?courseId=59#/detail/pc?id=1793 > 作者: 拉勾教育 >
Nginx报错:Sorry, the page you are looking for is currently unavailable. Please try again later.
查看了进程, nginx, php-fpm都在运行, 排除程序错误, 那么就是配置的问题了. 一个可能的错误, 是由于配置中的 fastcgi\_pass 配置错了 错误的配置如下  server { listen 80; server_name localhost; #
Nginx日志运维笔记
在分析服务器运行情况和业务数据时,nginx日志是非常可靠的数据来源,而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用,可以快速进行定位和统计。 **1)Nginx日志的标准格式(可参考:[http://www.cnblogs.com/kevingrace/p/5893499.html](https://www.oschina.net/ac
Nginx系列之使用ssl模块配置支持代理HTTPS链接
Nginx系列之使用ssl模块配置支持HTTPS访问 1、博客前言介绍 -------- 最近在用nginx代理https的第三方链接,因为不是做运维,所以对nginx并不是特殊熟悉,所以到处询问摸索了挺久 2、查看ssl\_module --------------- 要使用nginx代理https的链接,先用检查nginx是否已经有安装了ssl
Nginx配置参数中文详细说明
Nginx配置参数中文详细说明 --------------- #定义Nginx运行的用户和用户组 user www www; # #nginx进程数,建议设置为等于CPU总核心数. worker_processes 8; # #全局错误日志定义类型,[ debug | info | notice |