ticdc 不推进 5.4.1版本，我们是从5,2 升级到5.4.1的版本依旧有问题

Hacker_ZcrkjsVg · 2022 年7 月 8 日 02:21

日志存在告警

kkpeter · 2022 年7 月 8 日 03:01

是不是有一个超大的事物没处理完，之前看到个帖子说是因为源有批量删除导致ticdc卡住了

Hacker_ubN7WXjw · 2022 年7 月 8 日 03:57

这个问题我们也遇到，ticdc都不敢用了

Hacker_ZcrkjsVg · 2022 年7 月 8 日 03:58

根本没有pumper和 drainer 稳定还是官方推荐的已经升级到5.4.1

neilshen · 2022 年7 月 8 日 04:13

麻烦提供下卡住前 30 分钟和之后 30 分钟的 TiCDC，TiKV 和 TiDB 监控。

Hacker_ZcrkjsVg · 2022 年7 月 8 日 05:53

凌晨3点的时候确认有点高峰

Hacker_ZcrkjsVg · 2022 年7 月 8 日 05:56

性能也有高峰，应该是有后台一些任务夜间任务导致的

HACK · 2022 年7 月 8 日 06:03

我之前的4.0.6版本也是这个问题

Hacker_ZcrkjsVg · 2022 年7 月 8 日 06:08

目前我们升级到了 5.4.1 也依旧有这个问题。

qizheng · 2022 年7 月 8 日 06:28

可以导出这段时间的 TiDB、TiKV-Details、TiCDC 监控快照看看
https://docs.pingcap.com/zh/tidb/stable/exporting-grafana-snapshots

dba-kit · 2022 年7 月 8 日 07:04

看起来11点左右就自动恢复了？

代码工地头号民工 · 2022 年7 月 8 日 07:38

是的隔了几个小时以后 cdc的checkpoint正常了任务也没有延迟

qhd2004 · 2022 年7 月 9 日 03:26

导出是的2022-07-08 04-05的数据。Downloads.zip (2.0 MB)

cs58_dba · 2022 年7 月 10 日 04:17

估计只能尽量优化SQL，把大事务分解成小事务

Hacker_ZcrkjsVg · 2022 年7 月 11 日 02:03

已经提交监控数据了请帮助在分析下

neilshen · 2022 年7 月 12 日 05:07

根据这两个截图，猜测可能是以下情况中的某一个导致的

需要你们结合上游业务具体分析，如果是前两者则需要调整业务写入模式，尽量采用小事务写入，如果是最后一个需要提供更多的监控和日志做进一步分析。

Hacker_ZcrkjsVg · 2022 年7 月 12 日 05:10

这个在夜间确实有大的事务，但这个是业务需求夜间的作业。 ticdc在那个版本说这个问题解决了但现在看升级了5的最新版本还是无法使用。 drainer pumper 目前没有这个问题

kkpeter · 2022 年9 月 30 日 02:35

cdc 确实难用

asddongmen · 2022 年10 月 9 日 09:25

6.2 版本的 cdc 提供了大事务拆分功能，如果对事务的原子性没有要求，可以考虑使用 6.2 的 cdc，并且启用事务拆分功能，可以有效解决以上问题。

system · 2022 年10 月 31 日 19:26

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。