如何监控MySQL主从同步情况

我们先建一对主从:然后用 mysqlslap跑一个持续的压力:开另外一个会话,将 master 上的 general log 打开:然后通过 pt-table-checksum 进行一次比较:查看 master 的 general log,由于 mysqlslap 的影响,general log 中有很多内容,我们找到与 pt-table-checksum 相关的线程:将该线程的操作单独列...
如何监控MySQL主从同步情况
用 pt-table-checksum 时,会不会影响业务性能?
实验

实验开始前,给大家分享一个小经验:任何性能评估,不要相信别人的评测结果,要在自己的环境上测试,并(大概)知晓原理。
我们先建一对主从:

然后用 mysqlslap跑一个持续的压力:

开另外一个会话,将 master 上的 general log 打开:

然后通过 pt-table-checksum 进行一次比较:

查看 master 的 general log,由于 mysqlslap 的影响,general log 中有很多内容,我们找到与 pt-table-checksum 相关的线程:

将该线程的操作单独列出来:

操作比较多,我们一点一点来说明:

这里工具调小了 innodb 锁等待时间。使得之后的操作,只要在 innodb 上稍微有锁等待,就会马上放弃操作,对业务影响很小。
另外工具调小了 wait_timeout 时间,倒是没有特别的作用。

工具将隔离级别调整为了 RR 级别,事务的维护代价会比 RC 要高,不过后面我们会看到工具使用的每个事务都很小,加上之前提到 innodb 锁等待时间调到很小,对线上业务产生的成本比较小。
RR 级别是数据对比的基本要求。

工具通过一系列操作,了解表的概况。工具是一个数据块一个数据块进行校验,这里获取了第一个数据块的下边界。

接下来工具获取了下一个数据块的下边界,每个 SQL前都会 EXPLAIN 一下,看一下执行成本,非常小心翼翼。

之后工具获取了一个数据块的 checksum,这个数据块不大,如果跟业务流量有冲突,会马上出发 innodb 的锁超时,立刻退让。
以上是 pt-table-checksum 的一些设计,可以看到这几处都是精心维护了业务流量不受影响。
工具还设计了其他的一些机制保障业务流量,比如参数 --max-load 和 --pause-file 等,还有精心设计的数据块划分方法,索引选择方法等。大家根据自己的情况配合使用即可达到很好的效果。

总结
本期我们介绍了简单分析 pt-table-checksum 是否会影响业务流量,坊间会流传工具的各种参数建议或者不建议使用,算命的情况比较多,大家都可以用简单的实验来分析其中机制。
还是那个观点,性能测试不能相信道听途说,得通过实验去分析。
2020-11-05
mengvlog 阅读 41 次 更新于 2025-09-08 06:33:22 我来答关注问题0
  • 我们先建一对主从:然后用 mysqlslap跑一个持续的压力:开另外一个会话,将 master 上的 general log 打开:然后通过 pt-table-checksum 进行一次比较:查看 master 的 general log,由于 mysqlslap 的影响,general log 中有很多内容,我们找到与 pt-table-checksum 相关的线程:将该线程的操作单独列...

  •  翡希信息咨询 dba+开源工具:面向开发的MySQL图形可视化监控

    使用crontab设置定时任务,每分钟执行一次check_mysql_status.php和check_mysql_repl.php脚本,用于采集被监控端MySQL状态信息和主从复制信息,并触发报警。更改页面自动刷新频率:修改mysql_status_monitor.php和mysql_repl_monitor.php文件,设置页面自动刷新频率。页面访问:通过浏览器访问http://yourIP/mysql...

  •  翡希信息咨询 Mysql系列-主从同步

    二、主从同步作用 读写分离 通过主从复制的方式来同步数据,之后通过读写分离的方法提升数据库并发处理能力。具体来说,就是数据放在多个数据库中,其中一个是Master主库,其余的是Slave从库。当主数据库数据发生变化时,会自动将数据同步到从数据库中,程序可以设置去从库读取数据,从而实现读写分离。数...

  • 1.Zabbix官方提供的监控mysql的模板Template App MySQL,可以看到相关的Items和key。2.把该模板Template App MySQL Link到相关的主机上面,发现Item的Status是不可用的,因为key的值是通过Mysql用户查看"show global status"信息或者用mysqladmin命令查看status或extended-status的信息而取的值。mysql> show glob...

  • 面对监控MySQL binlog的需求,通常我们考虑的是通过主从复制的方式实现数据同步,但是实际业务场景中,存在一些特定的挑战。在这种情况下,需要在Java代码中监控binlog变化并获取数据。为了解决这个问题,我们引入了一个开源工具——mysql-binlog-connector-java。MySQL的binlog是一个二进制日志文件,它记录了...

檬味博客在线解答立即免费咨询

mySQL相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部