binlog drainer 开启后总是有时up 有时down

【 TiDB 使用环境】生产\测试环境\ POC 生产环境
【 TiDB 版本】V5.4.0
【遇到的问题】binlog drainer 开启后总是有时up 有时down
【复现路径】做过哪些操作出现的问题 刚部署上就开始
【问题现象及影响】无法同步数据
【附件】

  • 相关日志、配置文件、Grafana 监控(https://metricstool.pingcap.com/)

  • TiUP Cluster Display 信息

  • TiUP CLuster Edit config 信息

  • TiDB-Overview 监控

  • 对应模块的 Grafana 监控(如有 BR、TiDB-binlog、TiCDC 等)

  • 对应模块日志(包含问题前后 1 小时日志)


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1.看下drainer的进程状态,是不是在反复重启
2.看下drainer的日志,有没有同步报错导致的进程挂掉
3.检查网络

提供一下 drainer 的日志,你这应该是在反复的重启状态。

曾经遇到的一个问题,主库执行添加主键和唯一索引的操作,但是drainer 因为没有设置 syncer.to.read-timeout ,导致发送到备库执行主键的语句成功了。但是前台是timeout了,这样就会反复的继续发送主键和唯一索引的操作,表象就是反复的up和down。

drainer.log (11.5 MB)

多次尝试tiup cluster reload ,每次都能启动成功,但是查看drainer 进程状态,一直在up 和down 反复

是不是配置文件有问题啊,我看报错是表不存在,下游有这个表吗
ERROR] [server.go:291] [“syncer exited abnormal”] [error=“failed to add item: table gas1.xj_inspection_records: table not exist”]

我是部署了两个drainer节点,连接两个不同的mysql, 其中一个有 gas1 . xj_inspection_records表,另一个是没有的,这样会出现这个问题吗

如果你想一个同步,一个不同步,就需要在不同步的那个drainer中的配置文件中把这个表过滤掉。

如果我要同步的是库里面的所有表,要怎么写这个格式

库里面的所有表 那只需要配置上需要同步的库就好
replicate-do-db
https://docs.pingcap.com/zh/tidb/v5.4/tidb-binlog-configuration-file#replicate-do-db
但是如果你上有要同步的库在下游没有的表需要用ignore-table过滤出来
https://docs.pingcap.com/zh/tidb/v5.4/tidb-binlog-configuration-file#ignore-table

谢谢,问题已解决

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。