【TiDBer 唠嗑茶话会 136】TiCDC 大调研|本期一起聊聊对 TiCDC 的看法,可以提出你的使用反馈和建议!

什么是 TiCDC

TiCDC 是一款 TiDB 增量数据同步工具,通过拉取上游 TiKV 的数据变更日志,TiCDC 可以将数据解析为有序的行级变更数据输出到下游。

TiCDC 适用场景

TiCDC 适用于以下场景:

  • 提供多 TiDB 集群,跨区域数据高可用和容灾方案,保证在灾难发生时保证主备集群数据的最终一致性。
  • 提供同步实时变更数据到异构系统的服务,为监控、缓存、全文索引、数据分析、异构数据库使用等场景提供数据源。

更多 TiCDC 相关资料请看 >> 【TiDB 社区升级互助材料】TiCDC 最佳实践&上线前准备& FAQ

本期话题:

你有数据同步的需求吗?你有用 TiCDC 吗?用的过程中有遇到什么问题不~
(可以按照下面的模版提出你的反馈建议!)

【使用 TiCDC 】有 or 没有
【场景+痛点】
【反馈+建议】

参与奖励:

留言参与讨论,获得 30 积分&经验值!

活动时间:

2024.9.20 -2024.9.27

感谢各位老师提的每一个建议,帮助 TiCDC 变得更好!

ticdc能搞一个界面出来,然后异常能自动恢复

1 个赞

【使用 TiCDC 】有
【场景+痛点】数据实时同步,为数据分析提供数据源。
【反馈+建议】希望更加轻便

【使用 TiCDC 】有
【场景+痛点】数据实时同步到备份集群 ,无法在dashboard中查看cdc任务相关信息
【反馈+建议】希望可以在dashboard中看到cdc中任务相关的详细信息

有使用,强烈想要界面

【使用 TiCDC 】有
【场景+痛点】主从,同步数据到kafka等,告警不够全面及时
【反馈+建议】目前我是自己写脚本判断同步的tso延迟,然后发送告警,系统后续能增加该功能。

【使用 TiCDC 】有
【场景+痛点】数据实时同步,复制库
【反馈+建议】希望更加轻量级,配置更简捷

【使用 TiCDC 】有
【场景+痛点】数据同步可能会消耗较多的网络和计算资源,特别是在高负载的情况下
【反馈+建议】建议进行优化,解决负载占用过高的问题。

【使用 TiCDC 】有
【反馈+建议】搞个平台,平台支持API调用

【使用 TiCDC 】有
【场景+痛点】异构数据迁移
【反馈+建议】页面可视化

【使用 TiCDC 】有
【场景+痛点】changefeed无法写多个tidb server,导致下游存在tidb server节点浪费资源
【反馈+建议】希望增加功能

2 个赞

【使用 TiCDC 】有
【反馈+建议】
1.把ticdc的日志集成到dashboard的日志搜索里面
2.同步到下游是tidb集群的支持配置多个tidb-server的地址,保证高可用
changefeed 可以指定多个sink-uri吗? - TiDB 的问答社区 (asktug.com)

2 个赞

【使用 TiCDC 】有
【反馈+建议】可视化界面

【使用 TiCDC 】有
【场景+痛点】配置有点复杂

有。任务中断,告警非常麻烦,要可视化界面

【使用 TiCDC 】有
【场景+痛点】搭建异地多活
【反馈+建议】提供运维界面

【使用 TiCDC 】有
【场景+痛点】数据实时同步
【反馈+建议】希望有界面,使用更加轻量级,配置更简捷

【使用 TiCDC 】有
【场景+痛点】1.没有drainer的自动前五分钟自动更改safemode。冲突了就一直卡在那,drainer还可以前五分钟insert变成replace into,ticdc不行。增量差的太多的时候,排序消耗内存很大,然后oom,一旦oom就从头开始排序,只能扩大内存。
2. 不能自己指定capture leader,只能重启当前capture leader然后让cdc自己去选
【反馈+建议】希望优化