数据在增量同步的过程中sync状态无法读取主服务的relay log 日志

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.3
  • 【DM 版本】:1.0.3
  • 【问题描述】: 1:数据在增量同步的过程中sync状态无法读取主服务的relay log 日志 导致在同步的过程中数据不同步,而任务还是running状态

2:dm-worker 的 relay.meta不增长

3:在我重新启动worker的时候 relay.meta 恢复正常 日志也不报错,这是什么情况呢

1:这是 Grafana的worker监控图

  1. 请提供一下相关的日志
  2. “无法读取主服务的relay log 日志” 是从什么地方获取到的信息?

1:从上图监控中看出从主服务器读取binlog失败 。存在错误的进程退出

2:错误日志

您好:

  1. 请问在问题发生前有做过什么变更操作吗?

  2. 请检查TiDB-server服务器日志是否有报错,看起来连接被拒绝了, 如果找不到,麻烦上传tidb.log日志,多谢。

  3. DM-worker的日志是否方便完整上传下?看下之前发生的报错都有什么

  4. 反回完整的query-status task任务名 结果,如果无法启动反馈 check task结果,多谢

1: 没有做过变更操作

2:dm-wroker的日志就是以上所传的图

3:qeury-status taskname 返回错误30012 但是任务状态为running 上游日志和已同步进度日志数不匹配,我重启worker和master 任务可以正常运行

那就需要看一下完整的日志了,麻烦按照上面的要求上传完整日志,看看在报错前,都发生了什么。 当前如果可以启动,完整的query-status信息,如果截图不完整,发送txt文件,多谢。

1:这是dm-worker日志,query-status 日志现在无法看到,重启之后已回复正常 DM-worker日志.txt (138.7 KB)

  1. 日志中有发现 Region is unavailable 说明访问的 Region 不可用,某个 Raft Group 不可用,如副本数目不足,出现在 TiKV 比较繁忙或者是 TiKV 节点停机的时候,请检查 TiKV Server 状态/监控/日志。
  2. 日志中有大量的 invalid connection,connection refused 等信息,请确认上、下游数据库的状态是否正常

1:上游和下游数据库一切正常

2:这是tikv的日志

tikv日志.txt (17.2 KB)

从 tikv log 看应该是大量的读写冲突,这个可能同步的事务逻辑有关系,是不是并发太大 ? 另外发的日志 3.10 薅的,而上面的问题是 3.9 号的,时间不一样。