cdc因为内存不足而崩溃,会丢失二进制日志的数据吗

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】4.0.10

【问题描述】cdc因为内存不足而崩溃,会丢失二进制日志的数据吗?
我们把tidb的二进制日志打入kafka。由于内存不足,cdc报错,我们重启了cdc几次。现在担心有数据丢失。
错误日志里面有很多如下错误日志:
fatal error: runtime: out of memory

1、请问我怎么确认数据是否丢失?
2、请问我怎么限制cdc的内存使用?


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

  1. 内存崩溃时不会的,cdc 是拉取tikv的change log,即时当这些日志不存在了,cdc 拉取应该会报错的。
  2. 内存使用多时cdc进程导致的吗?cdc 有和其他进程配置在一起吗? 你的硬件环境怎么样? 太小了可以扩容。或者cdc的任务很大很多? 可以拆分试试。