Nginx日志分析系统---ElasticStack(ELK)工作笔记001

项目需求使用elasticsearch,来存储大量数据,每天大概5万条数据,一年2000万条数据,要求在

mysql中存储,同时在elasticsearch中也存储一份,elasticsearch 主要用来,分析数据,这些数据,

是一些服务器节点的错误数据,大概有30万台设备,每天大约有5万条错误日志.

要通过elasticsearch分析这些错误日志中,哪些设备节点出了问题,给出设备节点告警

?

这里我们通过采集分析Nginx的数据来做数据分析.

?

可以看到nginx有两种数据,一种是指标数据,就是Nginx,比如当前有多少连接,他连接了多少客户端等.

日志数据比如当前Nginx服务器的内存,cpu等信息,通过filebeat,采集日志数据,通过metricBeat

采集指标数据,然后把数据存入elasticsearch中,然后,再由kibana,进行数据的展示.

自定义一些图表显示等等.