1、Nginx日志分析及脚本编写

Nginx的日志记录是非常重要的，通过对日志进行分析可以了解网站的访问情况、性能状况和潜在的安全问题。确保Nginx的日志格式设置正确，以便能够获取到有用的信息，常见的日志格式包括combined（包含请求头信息）和common（只包含基本请求信息）。

下面是一个简单的Nginx日志分析的例子，以及一个基于Shell脚本的简单日志分析脚本。

ü Nginx日志格式配置：

首先，确保你的Nginx配置文件中包含了具体的日志格式设置。在nginx.conf文件或其他Nginx配置文件中添加或修改如下：

log_format custom_format '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

access_log /var/log/nginx/access.log custom_format;

ü Nginx日志分析脚本：

1）使用Shell脚本编写一个简单的Nginx日志分析脚本，以提取关键信息。下面是一个例子，用于统计访问量最多的IP地址：

#!/bin/bash

log_file="/var/log/nginx/access.log"

# 获取访问最多的IP地址

most_accessed_ip=$(awk '{print $1}' "$log_file" | sort | uniq -c | sort -rn | head -n 1)

echo "Most accessed IP address: $most_accessed_ip"

此脚本使用awk命令提取日志中的IP地址，然后使用sort、uniq和head命令进行统计和排序。你可以根据需要修改脚本，以执行其他类型的分析，比如统计访问最多的页面、最常见的用户代理等。

2）统计请求状态码的数量：这将统计各URL路径的访问次数，并按降序排列

cat /usr/local/nginx/logs/access.log | awk '{print $9}' | sort | uniq -c

3）统计访问最多的URL路径：

awk '{print $7}' /usr/local/nginx/logs/access.log | sort | uniq -c | sort -rn

4）统计访问次数超过一定阈值（如100次）且不包含特定后缀的URL：

awk -F ' ' '{a[$7] += 1} END {for (i in a) if (a[i] >= 100 && !match(i, /\.(gif|png|jpg|ico)$/)) print a[i], i}' /usr/local/nginx/logs/access.log

5）统计具有攻击行为的IP地址及其出现次数：

awk -F ' ' '{a[$1] += 1} END {for (i in a) if (a[i] >= 200 && !match(i, /^192\.168\./)) print a[i], i}' /usr/local/nginx/logs/access.log

ü Nginx日志分析是监控和优化Web应用性能的重要手段。

通过分析Nginx的访问日志，可以了解用户访问情况、请求性能以及潜在的问题。下面是一些常见的Nginx日志分析方法和脚本编写技巧：

1）实时分析：对于实时日志分析，可以使用tail -f配合管道来实现对正在生成的日志数据流进行实时处理，使用tail -f命令实时查看日志文件，可以使用grep过滤特定关键词。例如：

tail -f /usr/local/nginx/logs/access.log | awk '{...}'

2）脚本编写：

使用Shell脚本编写自动化分析工具，对日志文件进行批量处理和统计分析。

可以使用条件判断、循环结构等来处理复杂的日志数据。

3）性能指标：

分析请求的平均响应时间、请求并发数、错误率等指标，以评估应用的性能表现。

4）异常检测：

编写脚本检测异常请求，如大量并发请求、非法访问等，并采取相应的措施。

5）可视化工具：

使用可视化工具如Logstash、Graylog等对日志进行集中处理和展示，方便分析和监控。

6）日志轮转：

配置Nginx的日志轮转，定期清理旧的日志文件，保持日志文件的管理和存储。

7）权限控制：

确保日志文件的权限设置正确，以防止敏感信息泄露。

8）与其他系统集成：

将Nginx日志与其他系统进行集成，如监控系统、报警系统等，以便及时发现问题并采取措施。

9）定期审计：

定期对Nginx日志进行审计，检查是否存在异常或潜在的安全风险。

10）使用第三方工具：* 有许多第三方工具和软件可以帮助进行Nginx日志分析和处理，例如ELK Stack（Elasticsearch、Logstash和Kibana）。这些工具通常提供了更强大的分析功能和可视化界面。

总之，Nginx日志分析是一个持续的过程，需要定期检查、分析和优化。通过编写脚本和使用工具，可以更有效地处理和分析日志数据，帮助提升Web应用的性能和稳定性。