cdc 同步binlog 到kakfa 没数据

总结一下目前的分析

  • 主贴里最初出现的 rpc error: code = ResourceExhausted desc = trying to send message larger than max (12331115 vs. 2097152) 问题,目前猜测是需要同步的表数量过多(包含分区表,每个分区计数 1);因为从截图和日志都可以看到 "filter":{"rules":["*.*"],代表同步了所有表
  • 反馈修改了 filter 之后可以同步,这个符合预期
  • 截图 DDL 被忽略的问题,因为 DDL 涉及到的表没有在 filter 里匹配,所以会忽略该 DDL
  • 日志里 [2020/11/05 23:43:23.366 +08:00][2020/11/05 23:47:52.062 +08:00] cdc server 分别重启了两次,这个需要 cdc_stderr.log 定位是否有 panic,也可以通过 dmesg -T 查看是否有 OOM killer 杀掉 cdc 进程
  • CDC 正常运行过程中不应该占用特别多内存,一般超过 10G 的场景通常是出现了同步阻塞,或长时间增量扫数据的情况。所以出现 cdc 内存占用突然增高时,要优先查看是否同步阻塞,或者下游同步速度跟不上。(目前已知的 cdc 如果任务停掉过久,滞留的数据量过多新启动任务会出现 OOM,正在 https://github.com/pingcap/ticdc/pull/972 中进行优化)