ticdc 速度超级慢

[爱白话的晓辉]

线上环境
5.4.0 版本
6台tikv 节点 2个pd 2 个tidb 1 个cdc
正常情况下 ，线上每秒会写入2000条左右的数据，但是在cdc 端，延迟超级大，二十分钟就写了九千多条，各位大佬有啥好的方法么 ？ 不能cdc 就这个效率吧
创建语句如下：
tiup cdc cli changefeed create --pd=http://ali-bi-pd-prod001:2379 --changefeed-id=“kafka-canal-json” --sink-uri=“kafka://kafka_broker:9092/bi_prod_to_doris_from_tidb?kafka-version=2.2.0&protocol=canal-json”

[爱白话的晓辉]

延迟图

[neilshen]

如果方便的话，使用 clinic 抓下集群的监控和日志，以便分析。
同时确认下业务是否有大事务，5.4 版本的 TiCDC 在处理大事务上有性能问题。

[爱白话的晓辉]

没有大事务 都是单挑提交的 最大的表在100列。

[xiaour]

应该是你的机器IO负载太高了，监控调出来看一下

[alfred]

在OS层监控下IO，看是否有瓶颈

[nongfushanquan]

看一下下游是否有问题，kafka 场景你这个业务负载还是很小的。

[forever]

是到kafka 慢还是消费kafka 慢呢

[爱白话的晓辉]

到kafka 慢

[Aric (Jansu Dev)]

1. 麻烦抓下 clinic 吧，以便监控排查问题,clinic 使用方法 --> https://docs.pingcap.com/zh/tidb/stable/quick-start-with-clinic#pingcap-clinic-快速上手指南
2. 看 kafka 也没有用 partition-num，现在不知道问题是否在 kafka 侧

[爱白话的晓辉]

最终是因为5.4.0 版本的cdc 对于含有特殊字符的数据不兼容，会不断的进行重试，cdc 服务不断重启，升级至5.4.2 该问题解决，修改了kafka 几个配置参数，目前性能也没问题

[Meditator (Wendywong020)]

这个有出处吗？ 可否发出来分享下

[yuqi1129]

Me too, +1