ticdc 速度超级慢

线上环境
5.4.0 版本
6台tikv 节点 2个pd 2 个tidb 1 个cdc
正常情况下 ,线上每秒会写入2000条左右的数据,但是在cdc 端,延迟超级大,二十分钟就写了九千多条,各位大佬有啥好的方法么 ? 不能cdc 就这个效率吧
创建语句如下:
tiup cdc cli changefeed create --pd=http://ali-bi-pd-prod001:2379 --changefeed-id=“kafka-canal-json” --sink-uri=“kafka://kafka_broker:9092/bi_prod_to_doris_from_tidb?kafka-version=2.2.0&protocol=canal-json”

延迟图

如果方便的话,使用 clinic 抓下集群的监控和日志,以便分析。
同时确认下业务是否有大事务,5.4 版本的 TiCDC 在处理大事务上有性能问题。

没有大事务 都是单挑提交的 最大的表在100列。

应该是你的机器IO负载太高了,监控调出来看一下

在OS层监控下IO,看是否有瓶颈

1 Like

看一下下游是否有问题,kafka 场景你这个业务负载还是很小的。

是到kafka 慢还是消费kafka 慢呢

到kafka 慢

  1. 麻烦抓下 clinic 吧,以便监控排查问题,clinic 使用方法 --> https://docs.pingcap.com/zh/tidb/stable/quick-start-with-clinic#pingcap-clinic-快速上手指南
  2. 看 kafka 也没有用 partition-num,现在不知道问题是否在 kafka 侧

最终是因为5.4.0 版本的cdc 对于含有特殊字符的数据不兼容,会不断的进行重试,cdc 服务不断重启,升级至5.4.2 该问题解决,修改了kafka 几个配置参数,目前性能也没问题

这个有出处吗? 可否发出来分享下

Me too, +1

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。