TiCDC状态正常但不同步lighting导入的上游数据

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】4.0.9

【问题描述】目前测试TiCDC的同步表现,按照推荐初始化建立任务时使用了dumpling+lighting全量还原,之后再创建start-ts为默认值的方式建立同步任务,手动的DML,DDL操作,任务启停更改配置没有问题。
但在测试同步延迟时,我通过dumpling导出部分数据后通过lighting还原到上游tidb中,约耗时9分钟,还原期间上游tidb和CDC的下游tidb都能看到新表的结构,但还原完成后,上游tidb能看到3KW数据,CDC的下游tidb仍然只有表结构,等待了30分钟了还是如此,观察日志没有明显的报错,且同步状态正常,相关日志,配置和监控信息如下:
CDC配置信息:
image
image
image




上游开始导入时的cdc日志:
cdc.log (1.0 MB)
上游开始导入后的grafana监控截图:

另外,cdc的日志中有大量警告信息显示drop resolved ts due to region feed stopped
lightling的import模式是否不会产生kv的change log导致cdc同步失效?
麻烦老师看下是怎么回事,感谢!

这里应该是对 Lighting 理解有误

Lighting 还原有 3 种模式 local-backend 、tikv-import、tidb

其中 local-backend 、tikv-import 是通过 sql 文件或者 csv 文件升级对应的 kv 对,然后直接向 rockdb 底部 进行 insight ,数据灌入操作。并不会走 MVCC 层 ,及也就不会产生 CDC 日志

ticdc 是同步 tikv 层面的 CDC log 才会有 增量数据同步到下游

如果希望 lighting +ticdc 可以联动 请使用 lightning 的 tidb 模式进行数据导入

谢谢老师,已经按照你说的将后台模式设为backend = "tidb"解决了

请教一下

目前测试TiCDC的同步表现,按照推荐初始化建立任务时使用了dumpling+lighting全量还原,之后再创建start-ts为默认值的方式建立同步任务

这个场景是使用 dumpling+lighting 全量还原是在上游 TiDB 进行,希望 TiCDC 可以把全量还原的数据同步到下游 TiDB 吗?

不是,是在下游进行还原,然后开启CDC同步,等效为全备还原(dumpling+lighting)+增量同步(CDC)
如果你要在下游产生导入后也同步的效果,需要先开启CDC同步任务,然后上游lighting还原时后台模式选择tidb

TiCDC 增加一个迁移全量数据到下游的功能,是不是可以帮助到你这边

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。