公司共用一个TiDB集群,有6000多张库,50万张表,我们的TiCDC在只采集自己的少部分表时会受到与采集无关的库和表的大量的ddl操作的影响,导致我们TiCDC一直延时很长时间。官网上写着创库创表创索引还有大事务会对采集造成影响,没想到任何ddl操作都会影响我们的采集,尽管那些ddl操作的库表与我们的采集表无关。TiCDC的这部分设计问题太大了吧,这在一个所有业务共用的大集群里几乎没法正常采集,社区现在有没有在关注这个问题,并且有计划去解决这个问题吗?这个痛点实在太痛了。如果你们有改进这一点,会在接下来的版本里发布吗?下一版本的TiDB有没有改进ddl操作对TiCDC的采集延迟。下一个版本会什么时候发
还有如果采集的库表有做大量ddl操作,能不能也改进这个TiCDC的延迟
现在针对我们这种情况,有没有人有调优的办法,或者其他解决方案
请教下目前集群规模多大?什么类型业务?
听着感觉像生产汇聚库,把所有实例数据汇聚到一起
你好,方便用 clinc 收集一份监控给我们分析一下吗?我们看看有没有什么方法可以 workaround,之前比较少有 500k 表的情况,这一块我们分析之后会针对性优化一下。
Clinc https://docs.pingcap.com/zh/tidb/dev/clinic-introduction
我们集群有6个TiKV,有几千个库,50万张表是因为做了按照客户分库分表,一个客户一个库,库下的表都一样的。是打算做为业务库来用的,而不是生产的汇总表
关键问题是这个吧,能在以后版本优化吗?任何ddl操作都会影响我们的采集,尽管那些ddl操作的库表与我们的采集表无关
会在以后的版本优化。