【TiDBer 唠嗑茶话会 136】TiCDC 大调研|本期一起聊聊对 TiCDC 的看法,可以提出你的使用反馈和建议!

有想过的同步界面和进度

能白屏操作加监控

【使用 TiCDC 】有使用
【场景+痛点】数据同步不够及时
【反馈+建议】希望能全面优化

告警我记得还是有的吧,cdc_checkpoint_high_delay 这个告警是吧

【使用 TiCDC 】有 (凡是 tidb 有下游的分发,就需要用这个了)
【场景+痛点】全量 + 增量 / 全量 → 增量 / Update 语义丢失( insert + delete)/ DDL PipeLine 支持
【反馈+建议】建议追加全量数据Chunk Scan,帮助解决全量数据同步优化的方案,不一定是 ticdc 这个组件来完成,但是 ticdc 一定要预留这个出入口,满足 全量 → 增量 的自动切换

1 个赞

【使用 TiCDC 】有
【场景+痛点】数据实时同步到备份集群 ,无法在dashboard中查看cdc任务相关信息
【反馈+建议】希望可以在dashboard中看到cdc中任务相关的详细信息

【使用 TiCDC 】有
【场景+痛点】增量数据同步,痛点:配置需要手敲,费手
【反馈+建议】配置可视化,有可选基础模板,可直接编辑使用的

【使用 TiCDC 】有
【场景+痛点】实时数仓
【反馈+建议】状态监控

TICDC的部署和使用目前是和上游集群耦合的,建议能够解耦,变为一个更为轻量的易用的同步工具

【使用 TiCDC 】有
【反馈+建议】能在GUI界面方面查看状态

希望可以弄个微服务控制台,点点点,就可以完成。

希望有图形化界面,可以方便查看数据!

1 个赞

要是能有个好看的易于操作的UI的web界面就厉害了!!!!

【使用 TiCDC 】无
【场景+痛点】有数据同步的需求,公司有自己的平台,但是非实时的同步
【反馈+建议】最好有那种运维界面,通过配置,傻瓜式一键操作的,同时还要考虑这种实时同步对性能的影响

【使用 TiCDC 】有
【场景+痛点】
cdc同步下游库,必须依赖主库实时推送, 下游库性能问题或者网络等其他一系列问题容易导致同步延时,进而影响主库cdc服务的运行(一个changefeed卡顿延时时,可能会对其他changefeed产生横向影响)
【反馈+建议】
ticdc除了支持在线同步之外,支持直接生成增量日志,这些日志可以自行同步到下游库,让下游库自行恢复, 恢复过程不依赖主库。
好处:

  1. 和主库解耦,防止因为下游库和周边的原因影响主库的运行
  2. 一份增量日志,可以恢复多个下游库,节省资源

【使用 TiCDC 】有
【场景+痛点】数据向AP同步时写入Kafka,TiCDC 任务难观测和难管理
【反馈+建议】希望在 Dashboard 中能完成 TiCDC 任务的创建和管理等

1 个赞

白屏➕路由功能

【使用 TiCDC 】有
【场景+痛点】数据实时同步,为数据分析提供数据源。
【反馈+建议】希望更加轻便

【使用 TiCDC 】有
【场景+痛点】异构数据迁移
【反馈+建议】增强可观测性,增加开发接口供二次开发

【使用 TiCDC 】有
【场景+痛点】单表写入量大
【反馈+建议】能够将单表同步拆分到多个ticdc节点