TiCDC消息格式的问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.7
  • 【问题描述】:我们通过TiCDC将变更记录导出到Polsar这样的消息中间件。
    我们通过TiCDC抽取变更记录时,发现,一个事物内的所有行记录以一个消息的形式发送过来了。
    我们这边的诉求是增加配置,能让我们选择:TiCDC送过来的消息是每条消息包含单个记录,还是所有变更记录。一条消息就一条表记录的好处是能保持所有消息的大小尺寸近乎一致。

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

方便举个例子详细说明一下吗?另外这个是什么场景使用?

cdc消息的格式介绍:https://docs.pingcap.com/zh/tidb/stable/ticdc-open-protocol#概述
里面有这样一段:

其实,我们希望能给一个配置选项:1个Message只包含1个Event 或者可以包含多个

好的,我们反馈下。

https://github.com/pingcap/ticdc/issues/1055
目前已经有计划做这个功能,支持配置一条消息里包含的行变更数量

感谢。

:+1::+1::+1: