tidb版本升级（4.0.14升级到5.1.4后cdc部分节点处于down状态

l940399478 · 2022 年5 月 24 日 15:25

【 TiDB 使用环境`】生产环境
【 TiDB 版本】 v5.1.4
【遇到的问题】 tidb升级后cdc部分节点处于down状态

【问题现象及影响】
tidb v4.0.14使用tiup升级到v5.1.4，升级正常，但是查看集群状态时，cdc部分节点处于down状态。重启cdc节点提示重启成功，但是仍然显示部分节点down，每次查看down的cdc节点都不一样。

l940399478 · 2022 年5 月 24 日 16:35

单独只重启cdc节点，也是成功的。但是tiup cluster display查看，3个cdc节点仍是不断重启再down掉,每次查看，down掉的cdc节点都不同。

哈喽沃德 · 2022 年5 月 25 日 01:48

全部重启了也不行？

l940399478 · 2022 年5 月 25 日 01:50

是的，重启过程显示成功，但是查看总是有cdc节点处于down

xfworld · 2022 年5 月 25 日 02:43

那个down，cdc 节点的日志描述的是什么呢？

db_user · 2022 年5 月 25 日 02:43

看下cdc日志呢，报的什么错误

l940399478 · 2022 年5 月 25 日 02:45

l940399478 · 2022 年5 月 25 日 02:46

cdc.log里的内容是：
[2022/05/25 10:45:25.234 +08:00] [INFO] [changefeed.go:227] [“Start fixing incompatible changefeed state”] [changefeed="{“sink-uri”:"",“opts”:{“max-message-bytes”:“10000120”},“create-time”:“2021-04-28T13:07:50.608596171+08:00”,“start-ts”:424564875739529255,“target-ts”:0,“admin-job-type”:2,“sort-engine”:“memory”,“sort-dir”:".",“config”:{“case-sensitive”:true,“enable-old-value”:true,“force-replicate”:false,“check-gc-safe-point”:true,“filter”:{“rules”:["."],“ignore-txn-start-ts”:null},“mounter”:{“worker-num”:16},“sink”:{“dispatchers”:[{“matcher”:["cdmp."],“dispatcher”:“table”}],“protocol”:“canal-json”},“cyclic-replication”:{“enable”:false,“replica-id”:0,“filter-replica-ids”:null,“id-buckets”:0,“sync-ddl”:false},“scheduler”:{“type”:“table-number”,“polling-time”:-1}},“state”:“normal”,“error”:null,“sync-point-enabled”:false,“sync-point-interval”:600000000000,“creator-version”:""}"]

[2022/05/25 10:45:25.234 +08:00] [INFO] [changefeed.go:229] [“Fix incompatibility changefeed state completed”] [changefeed="{“sink-uri”:"",“opts”:{“max-message-bytes”:“10000120”},“create-time”:“2021-04-28T13:07:50.608596171+08:00”,“start-ts”:424564875739529255,“target-ts”:0,“admin-job-type”:2,“sort-engine”:“memory”,“sort-dir”:".",“config”:{“case-sensitive”:true,“enable-old-value”:true,“force-replicate”:false,“check-gc-safe-point”:true,“filter”:{“rules”:["."],“ignore-txn-start-ts”:null},“mounter”:{“worker-num”:16},“sink”:{“dispatchers”:[{“matcher”:["cdmp."],“dispatcher”:“table”}],“protocol”:“canal-json”},“cyclic-replication”:{“enable”:false,“replica-id”:0,“filter-replica-ids”:null,“id-buckets”:0,“sync-ddl”:false},“scheduler”:{“type”:“table-number”,“polling-time”:-1}},“state”:“normal”,“error”:null,“sync-point-enabled”:false,“sync-point-interval”:600000000000,“creator-version”:""}"]

[2022/05/25 10:45:25.234 +08:00] [INFO] [changefeed.go:227] [“Start fixing incompatible changefeed state”] [changefeed="{“sink-uri”:"***",“opts”:{“max-message-bytes”:“10000120”},“create-time”:“2021-10-18T15:20:51.315262631+08:00”,“start-ts”:428485286629212282,“target-ts”:0,“admin-job-type”:2,“sort-engine”:“unified”,“sort-dir”:"",“config”:{“case-sensitive”:true,“enable-old-value”:true,“force-replicate”:false,“check-gc-safe-point”:true,“filter”:{“rules”:[“cdmp_press./.order./”],“ignore-txn-start-ts”:null},“mounter”:{“worker-num”:16},“sink”:{“dispatchers”:[{“matcher”:[“cdmp_press./.order./”],“dispatcher”:“table”}],“protocol”:“canal-json”},“cyclic-replication”:{“enable”:false,“replica-id”:0,“filter-replica-ids”:null,“id-buckets”:0,“sync-ddl”:false},“scheduler”:{“type”:“table-number”,“polling-time”:-1}},“state”:“normal”,“error”:null,“sync-point-enabled”:false,“sync-point-interval”:600000000000,“creator-version”:“v4.0.14”}"]

Meditator · 2022 年5 月 25 日 02:54

可能是某些兼容的问题，把常规变量赋值给一个指针变量？

l940399478 · 2022 年5 月 25 日 03:18

有啥快速处理的办法吗

Meditator · 2022 年5 月 25 日 03:56

这个需要ctc的大佬看看 @@小王同学plus

Min_Chen · 2022 年5 月 25 日 06:29

这是个已知问题，参考：
https://github.com/pingcap/tiflow/issues/5266
类似问题：

l940399478 · 2022 年5 月 25 日 07:05

由于比较紧急，解决办法是回退cdc版本，将cdc版本由5.1.4替换为4.1.16,重启cdc节点，起来了

Rustin · 2022 年5 月 25 日 09:20

可以采用：https://pingcap.feishu.cn/docs/doccnpPgWuyZu0sPNHtPM7Cg7Kf# 这个手动解决方案来暂时解决这个问题。我们后续的版本会修复这个问题，收到影响的版本在文档中有说明。

system · 2022 年10 月 31 日 19:13

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。