ticdc无法同步数据到下游tidb

你们线上是不是有短时间大量数据更新的操作?(比如说,周末会备份表,将大量数据insert到历史表中)。
我这里的一个经验是,TiCDC在短时间遇到大量数据更新的时候,处理会特别慢(甚至执行不下去)
因为这个问题,踩过好几次坑了

没有做这种大量数据更新的操作,我们的上游tidb是用dm从mysql同步数据过来的,mysql上也没有做过这种大量数据更新的操作。

v5.1.1版本的per-table-memory-quota这个参数最小是6M,不能设置更小了。
已经测试per-table-memory-quota参数调整为6M,但是下游还是没流量过来,感觉遇到版本BUG了,准备升级版本解决。

tidb-app-TiCDC_2022-03-26T15_57_37.267Z.json (208.7 KB)

cdc.zip (17.6 MB)
cdc-2022-03-26T11-57-27.845.zip (25.1 MB)

tidb-app-TiCDC_2022-03-26T15_57_37.267Z.json
这个好像没有快照数据,先等监控面板数据加载后再导出

tidb-app-TiCDC_2022-03-27T07_25_57.410Z.json (208.7 KB)

目前判断是增量恢复的过程中,没有对 auto increment id 进行 rebase. https://github.com/pingcap/tidb/issues/33596

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。