网站首页 > 技术教程 正文
在实际工作中,如果你公司有运维部门,那么这种监控功能其实是运维做的。
往往可能你公司就那么几个开发,所以运维还是得自己来。
如果你们的系统比较大,做了分布式,访问量也很大,建议你使用ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台。
说出来也比较高大上,如果是小型的就直接写个脚本监控得了。
这边我们用Groovy来写脚本,Groovy是一种基于JVM(Java虚拟机)的敏捷开发语言,它结合了Python、Ruby和Smalltalk的许多强大的特性,Groovy 代码能够与 Java 代码很好地结合,也能用于扩展现有代码。
先简单的介绍下实现原理,我们这边的nginx日志量也不算特别大,每天大概3G左右,如果每次用文件流去读一遍,然后判断里面的内容是否有异常,然后发邮件或者短信,这样是行不通的,刚开始还可以,文件越来越大,读一次把所有行都遍历一遍都要几十分钟了,还在怎么实时监控呀。
还有呢就是可以用日志收集器,实时将日志收集存到数据库里面,然后用脚本去数据库中读取数据做分析监控。
我这边用的是直接读取脚本,然后把有异常信息的内容存到数据库,正常的就不存了。
那么我如何能够实时的读取这些大文件的内容呢?
我的做法是这样的。
用linux的sed命令来读取文件的n行到n行之间的内容,速度很快。
程序记住之前分析的最后一行的行数,然后下次分析的时候跳过前面的行。
由于这是公司的程序,代码我只贴一部分,具体的大家可以根据我提供的思路去实现。
check方法是你判断日志是否异常的具体实现。
- 上一篇: 教你三种方法,用 Python实时监控文件
- 下一篇: Docker 容器操作:运行、监控与维护
猜你喜欢
- 2024-10-10 平台进程监控介绍(系统进程监控软件)
- 2024-10-10 Zabbix监控系统系列之八:监控nginx服务
- 2024-10-10 深度|掌握Nginx监控运维,这一篇足矣!
- 2024-10-10 Nginx 监控(nginx监控工具)
- 2024-10-10 如何轻松监控Nginx?(nginx 监控)
- 2024-09-11 这可能是把Nginx讲解的最透彻的一本新书
- 2024-09-11 nginx动态添加nginx-module-vts监控流量
- 2024-09-11 Docker 容器操作:运行、监控与维护
- 2024-09-11 教你三种方法,用 Python实时监控文件
- 2024-09-11 服务性能监控都包括哪些指标?值得运维员收藏
你 发表评论:
欢迎- 最近发表
-
- Win11学院:如何在Windows 11上使用WSL安装Ubuntu
- linux移植(Linux移植freemodbus)
- 独家解读:Win10预览版9879为何无法识别硬盘
- 基于Linux系统的本地Yum源搭建与配置(ISO方式、RPM方式)
- Docker镜像瘦身(docker 减小镜像大小)
- 在linux上安装ollama(linux安装locale)
- 渗透测试系统Kali推出Docker镜像(kali linux渗透测试技术详解pdf)
- Linux环境中部署Harbor私有镜像仓库
- linux之间传文件命令之Rsync傻瓜式教程
- 解决ollama在linux中安装或升级时,通过国内镜像缩短安装时长
- 标签列表
-
- 下划线是什么 (87)
- 精美网站 (58)
- qq登录界面 (90)
- nginx 命令 (82)
- nginx .http (73)
- nginx lua (70)
- nginx 重定向 (68)
- Nginx超时 (65)
- nginx 监控 (57)
- odbc (59)
- rar密码破解工具 (62)
- annotation (71)
- 红黑树 (57)
- 智力题 (62)
- php空间申请 (61)
- 按键精灵 注册码 (69)
- 软件测试报告 (59)
- ntcreatefile (64)
- 闪动文字 (56)
- guid (66)
- abap (63)
- mpeg 2 (65)
- column (63)
- dreamweaver教程 (57)
- excel行列转换 (56)
本文暂时没有评论,来添加一个吧(●'◡'●)