TiCDC 支持按自定义列的分发策略

需求反馈

【需求涉及的问题场景】

  • 目前 TiCDC 支持按照表、主键(唯一键) 或 commit_ts 等策略分发数据到 Kafka 的不同 partition。有时业务为了保证表中某一列(非主键或唯一键)数据消费的时序性,不得不采用按表分发的方式,分发到同一个 partition 去处理,如果该表有大量的数据要处理,单 partition 存在吞吐量瓶颈,无法满足可扩展的要求。

【期望的需求行为】

  • 支持按照自定义列进行数据分发,列上相同的值分发到同一 partition,不同的值分发到不同的 partition。

【需求可替代方案】

  • 使用按表分发的策略
  • 业务改造确保分发列上有唯一键

【背景信息】