需求反馈
【需求涉及的问题场景】
- 目前 TiCDC 支持按照表、主键(唯一键) 或 commit_ts 等策略分发数据到 Kafka 的不同 partition。有时业务为了保证表中某一列(非主键或唯一键)数据消费的时序性,不得不采用按表分发的方式,分发到同一个 partition 去处理,如果该表有大量的数据要处理,单 partition 存在吞吐量瓶颈,无法满足可扩展的要求。
【期望的需求行为】
- 支持按照自定义列进行数据分发,列上相同的值分发到同一 partition,不同的值分发到不同的 partition。
【需求可替代方案】
- 使用按表分发的策略
- 业务改造确保分发列上有唯一键
【背景信息】