ticdc 在高流量写入的情况下延迟问题

我上面的描述可能不太清楚哈。
第一次是将kafka 的那个参数 message.max.bytes 从一个较小的值调整到了10M(不是从12M 调整到了10M), 调整之前多大我不清楚
下图是维护人员调整完的截图

当时cdc 的延迟在很短的时间内就消除了延迟,没想到晚上又开始延迟了

我下周一再让他们调整下kafka 其他的几个参数

另外还有一个疑问,如果是kafka 消费慢,应该是只有checkpoint 有延迟,为啥上图中的Processor Resolved ts lag 也很大呢 ,我下面的理解是否正确 ??

我理解这个指标是 cdc 解析tikv 日志的进度,如果下游消费来不及则就会生成磁盘临时文件。对于cdc 来说resolve 是没有延迟的,只是在等待下游消费。如下图是磁盘临时文件的监控:

1 个赞