什么是 TiCDC
TiCDC 是一款 TiDB 增量数据同步工具,通过拉取上游 TiKV 的数据变更日志,TiCDC 可以将数据解析为有序的行级变更数据输出到下游。
TiCDC 适用场景
TiCDC 适用于以下场景:
- 提供多 TiDB 集群,跨区域数据高可用和容灾方案,保证在灾难发生时保证主备集群数据的最终一致性。
- 提供同步实时变更数据到异构系统的服务,为监控、缓存、全文索引、数据分析、异构数据库使用等场景提供数据源。
本期话题:
你有数据同步的需求吗?你有用 TiCDC 吗?用的过程中有遇到什么问题不~
(可以按照下面的模版提出你的反馈建议!)
【使用 TiCDC 】有 or 没有
【场景+痛点】
【反馈+建议】
参与奖励:
留言参与讨论,获得 30 积分&经验值!
活动时间:
2024.9.20 -2024.9.27
感谢各位老师提的每一个建议,帮助 TiCDC 变得更好!
Kongdom
(Kongdom)
5
【使用 TiCDC 】有
【场景+痛点】数据实时同步,为数据分析提供数据源。
【反馈+建议】希望更加轻便
【使用 TiCDC 】有
【场景+痛点】主从,同步数据到kafka等,告警不够全面及时
【反馈+建议】目前我是自己写脚本判断同步的tso延迟,然后发送告警,系统后续能增加该功能。
【使用 TiCDC 】有
【场景+痛点】数据实时同步,复制库
【反馈+建议】希望更加轻量级,配置更简捷
yytest
10
【使用 TiCDC 】有
【场景+痛点】数据同步可能会消耗较多的网络和计算资源,特别是在高负载的情况下
【反馈+建议】建议进行优化,解决负载占用过高的问题。
DBRE
11
【使用 TiCDC 】有
【反馈+建议】搞个平台,平台支持API调用
【使用 TiCDC 】有
【场景+痛点】异构数据迁移
【反馈+建议】页面可视化
【使用 TiCDC 】有
【场景+痛点】changefeed无法写多个tidb server,导致下游存在tidb server节点浪费资源
【反馈+建议】希望增加功能
2 个赞
【使用 TiCDC 】有
【反馈+建议】
1.把ticdc的日志集成到dashboard的日志搜索里面
2.同步到下游是tidb集群的支持配置多个tidb-server的地址,保证高可用
changefeed 可以指定多个sink-uri吗? - TiDB 的问答社区 (asktug.com)
2 个赞
【使用 TiCDC 】有
【反馈+建议】可视化界面
【使用 TiCDC 】有
【场景+痛点】配置有点复杂
Myth
(Myth)
18
【使用 TiCDC 】有
【场景+痛点】搭建异地多活
【反馈+建议】提供运维界面
kelvin
(Ti D Ber Ccr Pz Ji2)
19
【使用 TiCDC 】有
【场景+痛点】数据实时同步
【反馈+建议】希望有界面,使用更加轻量级,配置更简捷
Holland
(Hacker Byb Hr4 Nu)
20
【使用 TiCDC 】有
【场景+痛点】1.没有drainer的自动前五分钟自动更改safemode。冲突了就一直卡在那,drainer还可以前五分钟insert变成replace into,ticdc不行。增量差的太多的时候,排序消耗内存很大,然后oom,一旦oom就从头开始排序,只能扩大内存。
2. 不能自己指定capture leader,只能重启当前capture leader然后让cdc自己去选
【反馈+建议】希望优化