TiCDC写入kafka数据到同一个partition

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
v5.0.3

【概述】
TiDB数据库下存在某一个库,db1,db1下存在按照按日期分表的表,如testtab_20211208、testtab_20211209…

将db1下的testtab_yyyymmdd表通过TiCDC写入到kafka中,出现所有的表数据都写入kafka中topic的同一个partition中,导致数据分布不均衡,这种情况要怎么解决

changefeed.toml配置文件如下:
case-sensitive = true

enable-old-value = true

[filter]
ignore-txn-start-ts = [1, 2]
rules = [‘db1.testtab_*’]

[mounter]

worker-num = 16

[sink]
protocol = “maxwell”

[cyclic-replication]
enable = false
replica-id = 1
filter-replica-ids = [2,3]
sync-ddl = true

【备份和数据迁移策略逻辑】

【背景】 做过哪些操作

【现象】 业务和数据库现象

【问题】 当前遇到的问题

【业务影响】

【TiDB 版本】

【附件】

  • 相关日志、配置文件、Grafana 监控(https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控(如有 BR、TiDB-binlog、TiCDC 等)
  • 对应模块日志(包含问题前后 1 小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

这个参考文档就可以了啊


最后参考sink 中的描述


https://docs.pingcap.com/zh/tidb/stable/manage-ticdc#同步任务配置文件描述

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。