ticdc同步任务无报错,同步下游tso不推进

tikv_150217.log (253.2 KB)

在这个时间段就停止了
“checkpoint”: “2022-11-15 02:17:04.913”

image
没做什么操作,居然往前同步了一点

该图中有 “the etcd session is done”,怀疑遇到了已知问题,同步了过多的表,或者增量数据过大。如果方便的话,麻烦提供下问题时间段 11/13 12:00 到 11/13 15:00 的 TiCDC 监控面板。

同时也可以升级到最新的 v6.1.2 版本,该版本中已经解决上述问题。

导了监控,但有些报错,看下能不能用

tidb-sharelink-hw-TiCDC_2022-12-01T07_37_28.411Z.json (14.3 MB)

如果是增量数据过大,目前除了升级v6版本解决外,用binlog方式做增量同步是不是也可以解决

可以是可以,但是会有一些问题,比如
1,binlog 是拿不到已经写入的数据的,需要在写入开始前就部署好 binlog。
2,binlog 会导致 tidb 一些优化失效,比如能提高写入吞吐的 async commit 和 1pc 功能。

参考 TiDB Binlog 简介 | PingCAP Docs

但CDC已经不同步GC超时了,也只能重新备份恢复到下游,重新做同步

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。