启动CDC任务提示etcd client outCh blocking too long, the etcdWorker may be stuck

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】 5.7.25-TiDB-v6.1.0
【复现路径】GC关闭了34小时，创建CDC的start-ts指向34小时前的时间，cdc日志报
etcd client outCh blocking too long, the etcdWorker may be stuck
【遇到的问题：问题现象及影响】
etcd client outCh blocking too long, the etcdWorker may be stuck
【资源配置】
pd节点： 3节点， 4vcpu 8G
cdc节点： 6节点， 16vcpu 32G
【附件：截图/日志/监控】

err1
err11908×229 11.4 KB

err2
err21882×600 47.2 KB

2

GC超了，就不能知道超过GC的时间了

3

检查 CDC 节点的资源配置是否足够支持当前的工作负载

4

估计要放弃之前的时间了，原因有2个：

  1. 即使GC 有保留，那么长时间累积的数据会很大，很有可能会导致 CDC OOM
  2. GC 未做留存，就只能选择GC目前最早的时间和现在可以跟进的时间

如果想对数据做补救处理，只能通过数据对比，或者快照的形式对数据进行补全了

5

这是个警告日志，说明 TiCDC 已经接近同步极限，很有可能会报错，但不代表一定会报错，建议可以看下ticdc的下游同步是否正常

6
7

节点资源利用率很低，直接线程卡死

8

感谢大家的回复，后面发现sink-url直连tidb 4000没问题， 但是连负载均衡的外网端口就有这个错误， 可能是厂商的这个负载均衡有bug, 正在提工单中

9

:+1:

10

一个提醒，这个负载均衡一定要使用最小连接数算法。另外，这个是移动云的LB么

11

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。