主备集群cdc 失败与性能问题

【TiDB 使用环境】生产环境
【TiDB 版本】8.5.3
tidb主备 除了cdc方案 还有其他的方案吗
因为cdc方式建立时和集群tps高时 会阻塞其他实时同步的任务 而且性能不太快

监控如下:
在执行完上游的备份与恢复 18T 耗时4h


官方文档里貌似只看到这一个方案,不过我们都是堆节点,只要节点够多,集群就足够稳定。 :yum:

堆cdc节点吗

不是,我们没有用ticdc,我们是加tikv节点。然后定时做br备份。

多大的数据量,cdc性能还是很强的啊

集群18T 现在等br跑完 启动主备cdc任务会卡住其他任务半小时之久也没开始下降 主备寻求解决方式

br时间长了,cdc需要扫描的数据多了把
你把主从同步任务拆分下,大表单独搞个任务试试

1 个赞

风哥 除了这个方式还有其他方式不 参数之类的

1 个赞

在cdc 在 v8.5.4-release 版本中引入了新架构 ,看着介绍功能很强的。

1 个赞

这个看了哦 官方不推荐生产使用


我们消息队列搞的都是pulsar

1 个赞

看了文档也还没想通

1 个赞

没想通什么?

cdc性能还是可以的啊

变化数据量有多大会影响这么大?

cdc还是很强大的,建议增加节点

18T 耗时4h,性能已经很强大了

ETL啊,例如kettle这一类的

上ETL这一些