本文为 TiCDC 源码解读第一期 - TiCDC 整体架构概览 分享现场 Q&A 整理以及视频回顾、分享资料下载合集。对于本期分享内容有更多想要交流的,也欢迎在本帖下留言。
- 视频回放:TiCDC 源码解读 | TiCDC 整体架构概览_哔哩哔哩_bilibili
- 分享资料下载:Introduction to TiCDC-2.pdf (1.9 MB)
- 文章整理:专栏 - TiCDC 源码解读(1)-- TiCDC 的架构概览 | TiDB 社区
- TiCDC 源码解读全系列详细回顾:【资源汇总】TiCDC 源码解读系列最全资源!!!
以下是本期 TiCDC 整体架构概览的 Q&A 回顾:
Q:TiCDC 之前会因为大事务导致 OOM,问题解决了吗?
A:在 6.1.1 版本之后,可以采用打开拆分事务的开关,解决大事务问题。
Q:TiCDC 现在都是以表为单位同步的, 如果单表成为了热点就无法利用 cdc 的分布式机器资源,这个问题将来会解决吗?
A:这个问题目前正在开发当中。
Q:能支持同时抓取全量数据吗?
A:依赖全量数据大小,如果全量数据超过 400G ,建议先用 BR 进行恢复。
Q:cdc 拉增量数据没报错,日志有报 region not found 去上游查 region 会有个别的没找到,但在 pd 查 region 没查出异常,这个如何处理?
A:如果没报错不用处理,CDC 里面有对应的容错处理机制。
Q:当前生产集群有 800 个changfeed,同步速度很慢,请问这个有办法优化吗?测试下来 changefeed 越少同步越快。
A:什么场景下会需要 800 个 changefeed 呢。 一个 changefeed 可以同步多张表,建议 changefeed 控制在 100 以内。
Q:Craft 协议目前是否可以使用?
A:没有 GA,不建议使用。
Q:增量和全量分开来做,这个太麻烦了,今年 Hackathon 上的全量同步 的idea 考虑实现吗?
A:会考虑,不过目前暂无开发计划。