数据在增量同步的过程中sync状态无法读取主服务的relay log 日志

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：3.0.3
  • 【DM 版本】：1.0.3
  • 【问题描述】： 1：数据在增量同步的过程中sync状态无法读取主服务的relay log 日志 导致在同步的过程中数据不同步，而任务还是running状态

2：dm-worker 的 relay.meta不增长

3：在我重新启动worker的时候 relay.meta 恢复正常 日志也不报错，这是什么情况呢

2

1：这是 Grafana的worker监控图

image
image1920×574 31.2 KB

3
  1. 请提供一下相关的日志
  2. “无法读取主服务的relay log 日志” 是从什么地方获取到的信息？
4

1:从上图监控中看出从主服务器读取binlog失败 。存在错误的进程退出

2：错误日志

image
image1530×210 35.8 KB

5

您好：

  1. 请问在问题发生前有做过什么变更操作吗？

  2. 请检查TiDB-server服务器日志是否有报错，看起来连接被拒绝了， 如果找不到，麻烦上传tidb.log日志，多谢。

  3. DM-worker的日志是否方便完整上传下？看下之前发生的报错都有什么

  4. 反回完整的query-status task任务名 结果，如果无法启动反馈 check task结果，多谢

6

1: 没有做过变更操作

2：dm-wroker的日志就是以上所传的图

3：qeury-status taskname 返回错误30012 但是任务状态为running 上游日志和已同步进度日志数不匹配，我重启worker和master 任务可以正常运行

7

那就需要看一下完整的日志了，麻烦按照上面的要求上传完整日志，看看在报错前，都发生了什么。 当前如果可以启动，完整的query-status信息，如果截图不完整，发送txt文件，多谢。

8

1:这是dm-worker日志，query-status 日志现在无法看到，重启之后已回复正常
DM-worker日志.txt (138.7 KB)

9
  1. 日志中有发现 Region is unavailable 说明访问的 Region 不可用，某个 Raft Group 不可用，如副本数目不足，出现在 TiKV 比较繁忙或者是 TiKV 节点停机的时候，请检查 TiKV Server 状态/监控/日志。
  2. 日志中有大量的 invalid connection，connection refused 等信息，请确认上、下游数据库的状态是否正常
10

1:上游和下游数据库一切正常

2：这是tikv的日志

tikv日志.txt (17.2 KB)

11

从 tikv log 看应该是大量的读写冲突，这个可能同步的事务逻辑有关系，是不是并发太大 ？ 另外发的日志 3.10 薅的，而上面的问题是 3.9 号的，时间不一样。