ticdc瓶颈问题

【 TiDB 使用环境】生产环境 or 测试环境 or POC
poc

【 TiDB 版本】
tidb v5.4.0

【遇到的问题】
集群a通过部署ticdc同步数据到集群b,集群a有6个tikv和6个ticdc
问题:
集群a并发写入压力变大,就会出现延迟情况,我们的测试脚本如下:

sql脚本是insert一个表

ticdc监控发现延迟,如下:


但是实际上服务器资源并没有利用上,瓶颈在ticdc的内部排序

通过监控发现,ticdc会将kv change log拉取到一起进行排序,一开始我们使用sort-engine为Unified Sorter,后来改成menmory,发现还是会延迟,只是内存使用会上升,也并不满负荷

请问如何优化能够将系统资源利用上,直到系统资源出现瓶颈时,再出现延迟,谢谢

【附件】
1、ticdc工作流程

请提供各个组件的 version 信息,如 cdc/tikv,可通过执行 cdc version/tikv-server --version 获取。

顶,有没有大神帮忙解答下,上有就是单表的高并发写入

单表高并发,就有点难搞,目前cdc是基于table维度调度的,某个表只能属于某个processor,而一个capture(cdc-server进程)可以有多个processor,如果有一个dml超极频繁的表,这种热点和数据倾斜情况会更严重。

好的,多谢

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。