ticdc 增加有默认值字段后异常

Bug 反馈
清晰准确地描述您发现的问题,提供任何可能复现问题的步骤有助于研发同学及时处理问题
【 TiDB 版本】5.4.1/ 7.1/6.1
【 Bug 的影响】tidb cdc 异常停止

【可能的问题复现步骤】
异常发帖参考:
ticdc 异常.

复现:
1、创建ticdc 任务同步 test.* ;
2、建表:

CREATE TABLE test.`test1` (
  `id` int(11) NOT NULL COMMENT '主键',
  `name` varchar(48) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '',
  `age` int(11) DEFAULT NULL COMMENT 'id,',
  PRIMARY KEY (`id`) /*T![clustered_index] CLUSTERED */
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

3、写入数据

insert into test.`test1` (id,name,age)values (1,'张三',12);

这里可以多写几条

4、查看ticdc 正常同步数据

5、增加一个有默认值的字段

alter table test.`test1` add column   `phone` varchar(48) COLLATE utf8mb4_general_ci DEFAULT '00000' COMMENT '';

6、插入新的数据,且不包含 phone 字段的情况

insert into test.`test1` (id,name,age)values (1000,'张三',12);

7、ticdc 开始报错

【看到的非预期行为】
ticdc 同步任务报错,重启,往复不止,ticdc 组件也轮询停止重启

【期望看到的行为】
正常同步,报错信息包含报错原因

【相关组件及具体版本】
tidb ,tikv ,ticdc
我测试了5.4.1,测试了6.1,7.1,貌似均有问题;

【其他背景信息或者截图】
如集群拓扑,系统和内核版本,应用 app 信息等;如果问题跟 SQL 有关,请提供 SQL 语句和相关表的 Schema 信息;如果节点日志存在关键报错,请提供相关节点的日志内容或文件;如果一些业务敏感信息不便提供,请留下联系方式,我们与您私下沟通。

tidb cdc 的日志报错信息很模糊,日志可以去
异常发帖参考
ticdc 异常.
查询

补充一下:这里tidb cdc 同步格式为 maxwell

报错内容是啥?

tidb cdc 的日志报错信息很模糊,日志可以去
异常发帖参考
ticdc 异常 .
查询

这个里面有日志,但是我看了之后感觉没有一点用

突然想到,目前maxwell 格式取消了,各位大佬看下对应其他格式的是否也有相同问题,若无,就提醒我,我就关闭掉吧,工作影响,没有太多时间测试其他格式了,阿里嘎多 :no_mouth:

这个贴不是说已知 bug 了么? https://github.com/pingcap/tidb/issues/31335 6.x 上解决了,请升级到 6.x 以上的版本

您好呀,我看了你这边给的链接,查看了您给的链接,上面的内容关于备份中后的日志问题,与我的情况非一致呢。我这边做了7.,/8. 的canal 格式测试,没有相关异常,既然已经去掉maxwell格式的话,就不用去纠结这个异常了吧。

的确,问题有待研究,需要测试一下。

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。