DM 同步延时的具体时间如何计算

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
TiDB 5.1.0
DM 2.0.4

【概述】 场景 + 问题概述
使用到DM 从上游同步MySQL数据库到多个下游TiDB集群,但是每个集群对于数据的同步时间不太一样,不同集群看到同步数据的时间(应用上感知到)不一样,有些慢,有些快,所以想要获取到每一个集群的同步时间延时,如果可以的话,想要获取到每个具体的SQL同步从MySQL到TiDB的延时。总结问题:

  1. 如何获取到DM同步时上下游数据库时间延时大概有多久?
  2. 是否能获取到具体某个SQL的同步延时为多久?

目前可以通过 DM 的 Grafana 监控来看一下,可以看 binlog sync 消费的情况,具体时间延迟这块目前需要应用自己通过查询上校有数据,校对一下。

syncer: update lag metric calculation logic (#1855) by ti-chi-bot · Pull Request #1880 · pingcap/dm · GitHub 我们做了一些监控的优化,但是目前只能估算同步延迟情况。可以通过同步的 postion 信息来估算一下。

好的,感谢!
我想追问一下,这个是否可以通过日志手段来比对下,例如获取到binlog拉取时间和到下游的消费时间来估算下中间的时延?

可以通过这个方式获取一个相对比较粗粒度的延迟

https://asktug.com/t/topic/212998

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。