有偿500求ticdc tidb集群同步精细化比较熟悉的大佬指导,ticdc研发人员最好

tidb集群同步要比较熟悉,对同步精细度的细节有比较大的感知,比如从a集群同步到b集群。希望版主可以加急。尽量后天就要搞定

1、指定同步a集群某几个库到b集群且维持增量同步。
2、指定同步a集群的某个库过滤某些敏感表到b集群且维持增量同步。
3、指定同步a集群的某个库过滤某些表的敏感字段到b集群且维持增量同步。
4、指定同步a集群的某个库的因为mysql的分布分表导致的多个按月作为时间分段到b集群要聚合为一个表且维持增量同步。
崇尚知识付费,价格不适合可以再谈,
加微信:hookry

然后tidb官方论坛有人( TiDBer_tmjFVXtx)给我的回复是,
可以使用 TiCDC 的表过滤能力:
可以参考文档:https://docs.pingcap.com/zh/tidb/stable/manage-ticdc#同步任务配置文件描述
更详细的过滤规则语法可以看:https://docs.pingcap.com/zh/tidb/stable/table-filter#表库过滤语法 1

第一个和第二个需求按照过滤规则配置即可。
第三个和第四个需求 TiCDC 目前不支持。
第三个需求 TiCDC 未来可能会支持行过滤然后输出到 Kafka,可能能满足你的需求。但是做完估计要下半年甚至年底了。
第四个需求 TiCDC 做不到,没有这种聚合能力。
那我要想实现3-4各位大佬有没有比较好的方案推荐(有人推荐otter或canal)

1 个赞

可以使用 TiCDC 的表过滤能力:
可以参考文档:https://docs.pingcap.com/zh/tidb/stable/manage-ticdc#同步任务配置文件描述
更详细的过滤规则语法可以看:https://docs.pingcap.com/zh/tidb/stable/table-filter#表库过滤语法

第一个和第二个需求按照过滤规则配置即可。
第三个和第四个需求 TiCDC 目前不支持。

1 个赞

大佬好,方便留一下微信交流一下吗?
如果3-4只靠纯ticdc不支持的话,那3-4有没有办法通过啥工具能比较好的实现

第三个需求 TiCDC 未来可能会支持行过滤然后输出到 Kafka,可能能满足你的需求。但是做完估计要下半年甚至年底了。
第四个需求 TiCDC 做不到,没有这种聚合能力。

2 个赞

那我的意思除开ticdc有没有其它方式比较好的实现3和4

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。