当前位置:首页 > 技术 > 正文内容

Nginx日志常用统计分析命令

醉清风2019-08-16技术5250

IP相关统计

统计IP访问量(独立ip访问数量)

awk '{print $1}' access.log | sort -n | uniq | wc -l

查看某一时间段的IP访问量(4-5点)

grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l

查看访问最频繁的前100个IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100

查看访问100次以上的IP

awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

查询某个IP的详细访问情况,按访问频率排序

grep '127.0.01' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

页面访问统计

查看访问最频的页面(TOP100)

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

查看访问最频的页面([排除php页面】(TOP100)

grep -v ".php" access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100

查看页面访问次数超过100次的页面

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

查看最近1000条记录,访问量最高的页面

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

每秒请求量统计

统计每秒的请求数,top100的时间点(精确到秒)

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100

每分钟请求量统计
统计每分钟的请求数,top100的时间点(精确到分钟)

awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100

每小时请求量统计
统计每小时的请求数,top100的时间点(精确到小时)

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100

性能分析
在nginx log中最后一个字段加入$request_time
列出传输时间超过 3 秒的页面,显示前20条

cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20

列出php页面请求时间超过3秒的页面,并统计其出现的次数,显示前100条

cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

蜘蛛抓取统计

统计蜘蛛抓取次数

grep 'Baiduspider' access.log |wc -l

统计蜘蛛抓取404的次数

grep 'Baiduspider' access.log |grep '404' | wc -l

TCP连接统计

查看当前TCP连接数

netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l

用tcpdump嗅探80端口的访问看看谁最高

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr

某个日期时间段内每分钟请求数统计(显示前10条)

cat wap.access.log |sed -n  '/07\/Aug\/2018:10:00/,/07\/Aug\/2018:10:30/p'|more |awk '{print $4}'  |cut -c 14-18 | sort | uniq -c |sort -nr | head -n 10

某个日期时间段内每秒请求数统计(显示前10条)

cat wap.access.log |sed -n  '/07\/Aug\/2018:10:00/,/07\/Aug\/2018:10:30/p'|more |awk '{print $4}'  |cut -c 14-21 | sort | uniq -c |sort -nr | head -n 10
扫描二维码至手机访问

扫描二维码推送至手机访问。

版权声明:本文由红柚酱发布,如需转载请注明出处。

转载请注明出处:https://www.notenet.cn/post/71.html

标签: nginxlinux

相关文章

PHP-FPM的配置与优化

PHP-FPM的配置与优化

php-fpm 介绍PHP-FPM(FastCGI Process Manager:FastCGI进程管理器)是一个PHPFastCGI管理器,用于管理 PHP 进程池、接收和处理 Web 服务器的请...

ubuntu16.04安装lnmp环境

ubuntu16.04安装lnmp环境

1.安装mysqlsudo apt install mysql-server2.安装nginx和php#添加nginx和php的ppa源sudo apt-add...

php-fpm进程数管理

php-fpm进程数管理

PHP-FPM先来了解一些名词概念:CGI是Common Gateway Interface(通用网管协议),用于让交互程序和Web服务器通信的协议。它负责处理URL的请求,启动一个进程,将客户端发送...

ubuntu18.04 安装 LNMP

ubuntu18.04 安装 LNMP

环境:Ubuntu18.04 nginx1.4  php7.2  mysql5.71.安装 nginx#sudo apt install nginx确...

ThinkPHP5.* URL重写

ThinkPHP5.* URL重写

可以通过URL重写隐藏应用的入口文件index.php,下面是相关服务器的配置参考:[ Apache ]httpd.conf配置文件中加载了mod_rewrite.so模块AllowOverride...