网站首页 > 技术教程 正文
inotify+rsync简介
inotify 仅支持 2.6.13 以上内核,当然现在基本上都是2.6.13以上的,除非真的很旧的系统。不放心的可以自已`uname -r`查看你的内核。也可在查看 ll /proc/sys/fs/inotify/ (系统不同,路径也不同)是否有三个文件,如果有表明内核支持 inotify。
inotify 可以监控文件,也可以监控目录。当监控目录时,它可以同时监控目录及目录中的各子目录及文件的。所以用 rsync + inotify 的方法监控web服务器或者nfs存储服务器,inotify只要发现有变化,通过rsync将文件同步至备份服务器。但缺点是rsync同步时同步整个目录(遍历效率低)。因此还有另外一种rsync+sersync架构。
sersync是基于inotify开发的工具,rsync+sersync可具体监控到每个文件夹的某个文件的名字,所以rsync同步时,只需要同步改变的某个文件,无需同步整个目录。
当同步的目录数据量不大时,建议使用rsync+inotify
当同步的目录数据量很大时(几百G甚至1T以上)文件很多时,建议使用rsync+sersync
rsync+inotify 搭建请参考另一篇:rsync+sersync实时同步
测试环境介绍:2台机器,系统Linux(centos 7)
nfs存储共享服务器 ip:172.16.2.3 (已安装nfs,rsync)
rsync备份服务器 ip :172.16.2.4(已安装rsync)
要求:inotify+rsync监控nfs服务器 /www 目录,在更新或修改文件后,同步至rsync备份服务器 /backup/web 目录。
nfs存储共享服务器搭建参考:Linux搭建NFS存储共享服务器
rsync备份服务器搭建参考:Linux搭建rsync备用服务器
一 :inotify的安装与使用
1):在nfs服务器上yum直接按照 inotify-tools
没有没有安装epel-release第三方源,是没法直接yum安装的。
还没有安装的直接先 yum install -y epel-release 即可。
然后yum 安装inotify-tools。
yum install -y inotify-tools
2):测试inotify是否启动
监控/www目录创建选项,并以年月日时分显示所创建的文件。
打开另外会话窗口2,在会话2中依次创建bbb.txt,ccc.txt, ddd.txt文件。
在原会话窗口1可看到已成功监控到创建了文件。
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f' -e create /www
inotify之inotifywait命令详解
参数详解:
-r:递归查询目录
-q:打印监控时间信息
-m:始终保持时间监听状态
--excludei: 排除文件或目录时,不区分大小写。
--timefmt: 指定时间输出的格式
--format: 打印使用指定的输出类似格式字符串
a、 %w:显示被监控文件的文件名;
b、 %f:如果发生某事件的对象是目录,则显示被监控目录的名字;默认显示为空串;
c、 %T:使用--timefmt 选项中自定义的时间格式;
d、 %e 表示发生的事件
e、 %Xe 事件以“X”分隔
-e:指定需要监控的事件
access: 文件或目录被读取
modify: 文件或目录内容被修改
attrib: 文件或目录属性被改变
close: 文件或目录封闭,无论读/写模式
open:文件或目录被打开
move_to:文件或目录被移动到另外一个目录
move:文件或目录被移动另一个目录或从另一个目录移动到当前目录
create:文件或目录被创建在当前目录
delete:文件或目录被删除
unmount:文件系统被卸载
常用组合:close_write,modify,delete,create,attrib
二:编写监控脚本
1):输入脚本内容:
vim inotify.sh
最基本的脚本内容用无限循环即可,当/www目录发现有增删改时,实行将/www所有文件同步至备份服务器。最基础的脚本,后续可自行优化,分别对文件夹文件的增、删、改对不同的条件执行即可。
#!/bin/bash
/usr/bin/inotifywait -mrq '%w%f' -e close_write,modify,delete,create /www \
| while read line
do
rsync -avz /www/ rsync_backup@172.16.2.4::backup/ --password-file=/etc/rsync.password >/dev/null 2>&1
done
exit 0
2):执行脚本测试
chmod +x inotify.sh
#对脚本添加执行权限
sh inotify.sh &
#运行脚本监控/www
sh inotify.sh & 脚本后面加上& 为后台执行,结束用pkill或者kill直接杀死即可,
用 ps -ef|grep inotify 查看脚本是否运行。
脚本已经在后台运行:
在nfs服务器目录 /www 创建{1..6}.txt,6个文件。
并在rsync服务器查看是否有文件同步过来。
touch /www/{1..6}.txt
#在NFS服务器上上创建文件进行测试
ll /backup/web
#rsync备份服务上查看是否备份成功
查看备份服务器目录文件已经同步过来,已同步成功...
3):脚本设置开机启动
最后将脚本加入rc.local 文件,开机启动即可。
echo "/bin/bash inotify.sh &" >> /etc/rc.local
#设置开机启动
三:修改inotify默认参数(可选)
inotify默认内核参数值太小,分别就是
查看系统默认参数值
sysctl -a | grep max_queued_events
结果是:fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
结果是:fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
结果是:fs.inotify.max_user_instances = 128
修改参数命令
sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"
并在sysctl.conf文件添加以下内容
vi /etc/sysctl.conf
内容如下:
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
保存退出完成。
参数说明:
max_queued_events:
inotify队列最大长度,如果值太小,会出现"** Event Queue Overflow **"错误,导致监控文件不准确
max_user_watches:
设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
max_user_instances:
每个用户创建inotify实例最大值
【inotify在实际生产环境中,对于50-200KB的文件,inotify的最发并发量为200-300,如果客户端写入速度大于这个量,将会造成短暂的延迟】
猜你喜欢
- 2025-05-16 深入理解 linux磁盘顺序写、随机写
- 2025-05-16 黄远邦:应对7月1日闰秒对Oracle数据库影响
- 2025-05-16 桌面Linux安全加固——系统加固和安全启动
- 2025-05-16 如何在 Linux 中有效使用 history 命令?
- 2025-05-16 超详细的六款主流ETL工具介绍及功能对比
- 2025-05-16 闰秒宣布取消,网友:让Linus本人与谷歌微软达成一致,只有它了
- 2025-05-16 老板喊你设计一个高效的定时任务系统
- 2025-05-16 精华总结:10个问题理解 Linux epoll
- 2025-05-16 Linux C++实现多线程同步的四种方式(超级详细)
你 发表评论:
欢迎- 最近发表
-
- Win11学院:如何在Windows 11上使用WSL安装Ubuntu
- linux移植(Linux移植freemodbus)
- 独家解读:Win10预览版9879为何无法识别硬盘
- 基于Linux系统的本地Yum源搭建与配置(ISO方式、RPM方式)
- Docker镜像瘦身(docker 减小镜像大小)
- 在linux上安装ollama(linux安装locale)
- 渗透测试系统Kali推出Docker镜像(kali linux渗透测试技术详解pdf)
- Linux环境中部署Harbor私有镜像仓库
- linux之间传文件命令之Rsync傻瓜式教程
- 解决ollama在linux中安装或升级时,通过国内镜像缩短安装时长
- 标签列表
-
- 下划线是什么 (87)
- 精美网站 (58)
- qq登录界面 (90)
- nginx 命令 (82)
- nginx .http (73)
- nginx lua (70)
- nginx 重定向 (68)
- Nginx超时 (65)
- nginx 监控 (57)
- odbc (59)
- rar密码破解工具 (62)
- annotation (71)
- 红黑树 (57)
- 智力题 (62)
- php空间申请 (61)
- 按键精灵 注册码 (69)
- 软件测试报告 (59)
- ntcreatefile (64)
- 闪动文字 (56)
- guid (66)
- abap (63)
- mpeg 2 (65)
- column (63)
- dreamweaver教程 (57)
- excel行列转换 (56)
本文暂时没有评论,来添加一个吧(●'◡'●)