【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.8
【复现路径】
批量删除一张表中的数据，该表通过cdc同步到hive，但是删除的数据通过filter过滤，不同步到下游
【遇到的问题：问题现象及影响】
mounter output events/s 达到3w左右后达到瓶颈，确认删除的数据已过滤，未同步到下游
问题1：cdc链路延迟，不能承载大批量的删除数据过滤
问题2：删除开始后cdc的内存不断上涨，直至OOM
【附件：截图/日志/监控】
cdc 多少个实例？
要不要扩容两个。
就一张表删除 3w/s的过滤量都在这张表上 扩容没用哦
好吧。。。有没有试过调大 worker-count 行不行啊。
cdc 可以试试配置下 https://docs.pingcap.com/zh/tidb/stable/ticdc-server-config#gc-tuner-memory-threshold
设置为 0 ，我记得好像中间有几个版本默认开了 tuner 导致内存回收慢，你关闭试试。
或者试试 tiup edit-config
server_configs:
cdc:
max-memory-percentage: -1
1 个赞
我们这也有类似场景，我有同时删除过几千万数据同步到下游kafka=》hive，但是我没有添加过滤，下游flume遇到删除不做处理就行了。
如果是下游过滤删除的话 真实的业务删除操作也会被过滤掉，所以我们需要去根据条件过滤 你们的删除速度怎么样？tidb处理的性能是多少？ 我这大概一个小时删除一亿条数据 你们的版本是多少？
我是7.5.4通过ttl删除的数据效率很高，10分钟删除了6000多万记录。
1 个赞