TiDB binlog 不同步数据

undefined · 2021 年8 月 31 日 03:03

【 TiDB 使用环境】

centos7
【概述】场景 + 问题概述

【问题】当前遇到的问题
组件状态都是正常的, 8.27 号之前还在同步, 看日志也没报错, 突然 drainer 不同步了

【TiDB 版本】
v4.0.9

db_user · 2021 年8 月 31 日 06:10

请问不同步是指下游不再更新了么，下游的配置是什么呢，kafka,mysql还是什么，可以查看下对应的下游错误日志，drainer日志中会有主见冲突的情况么

undefined · 2021 年8 月 31 日 06:10

很遗憾什么都没有… 下游是tidb

db_user · 2021 年8 月 31 日 06:16

可以提供下drainer的日志，和下游tidb的日志么，停止更新时间附近半个小时的

undefined · 2021 年8 月 31 日 06:23

昨晚实在没办法然后 scale-in了pump drainer 然后prune了集群, 日志没了… 然后问题还没解决

db_user · 2021 年8 月 31 日 06:43

如果状态都没问题，可不可以这样试下呢，先下游全量同步某一个库，然后binlog增量这个库实验下呢，没有日志也不清楚什么错误，下游tidb日志可以看下是否有问题

undefined · 2021 年9 月 6 日 08:18

ddl 发现也不同步到下游… 但是 pump drianer 状态都是 online

[root@tidb-pd001 log]# cat pump.log |grep WARN
[2021/08/31 09:01:23.065 +08:00] [WARN] [pd.go:109] ["get timestamp too slow"] ["cost time"=33.726366ms]
[root@tidb-pd001 log]# cat pump.log |grep WARN
[2021/08/31 09:01:23.065 +08:00] [WARN] [pd.go:109] ["get timestamp too slow"] ["cost time"=33.726366ms]
[root@tidb-pd001 log]# cat pump.log |grep ERR
[2021/08/31 01:06:46.328 +08:00] [ERROR] [server.go:293] ["drainer request a purged binlog TS, some binlog events may be loss"] ["gc TS"=0] [request="{\"clusterID\":6979025369759713284,\"startFrom\":{}}"]

发现附近有这些错误, stderr错误文件都是空的

小王同学Plus · 2021 年9 月 13 日 02:35

从你的 curl info 信息来看，建议看下这个 FAQ [FAQ] drainer 无报错，但是不产生 binlog 到下游

system · 2022 年10 月 31 日 19:04

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。