ticdc 速度超级慢

🪐 TiDB 技术问题
1

线上环境
5.4.0 版本
6台tikv 节点 2个pd 2 个tidb 1 个cdc
正常情况下 ，线上每秒会写入2000条左右的数据，但是在cdc 端，延迟超级大，二十分钟就写了九千多条，各位大佬有啥好的方法么 ？ 不能cdc 就这个效率吧
创建语句如下：
tiup cdc cli changefeed create --pd=http://ali-bi-pd-prod001:2379 --changefeed-id=“kafka-canal-json” --sink-uri=“kafka://kafka_broker:9092/bi_prod_to_doris_from_tidb?kafka-version=2.2.0&protocol=canal-json”

2

延迟图

image
image833×259 20.9 KB

3

如果方便的话，使用 clinic 抓下集群的监控和日志，以便分析。
同时确认下业务是否有大事务，5.4 版本的 TiCDC 在处理大事务上有性能问题。

4

没有大事务 都是单挑提交的 最大的表在100列。

5

应该是你的机器IO负载太高了，监控调出来看一下

6

在OS层监控下IO，看是否有瓶颈

1 个赞
7

看一下下游是否有问题，kafka 场景你这个业务负载还是很小的。

8

是到kafka 慢还是消费kafka 慢呢

9

到kafka 慢

10
  1. 麻烦抓下 clinic 吧，以便监控排查问题,clinic 使用方法 --> https://docs.pingcap.com/zh/tidb/stable/quick-start-with-clinic#pingcap-clinic-快速上手指南
  2. 看 kafka 也没有用 partition-num，现在不知道问题是否在 kafka 侧
11

最终是因为5.4.0 版本的cdc 对于含有特殊字符的数据不兼容，会不断的进行重试，cdc 服务不断重启，升级至5.4.2 该问题解决，修改了kafka 几个配置参数，目前性能也没问题

12

这个有出处吗？ 可否发出来分享下

13

Me too, +1

14

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。