tidb 解析pump binlog 工具

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：tidb v3.0.9
  • 【问题描述】：
    想问下 有没有工具可以解析pump的binlog 在使用binlog工具同步数据时 发现有2条数据丢失

这边的tidb有5台 有3台tidbserver是提供给一个业务方 这三台开启了binlog
有两台是提供给另一个业务方 目前没有开启binlog

因为有数据丢失 不确定是不是业务场景的问题 想问下有没有工具可以解析pump落地的binlog呢

求解 万分感谢

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2
  1. 您好，请问下游对接的是什么？ drainer 同步给 kafka之类的？
  2. 有使用 reparo 吗？
    https://pingcap.com/docs-cn/stable/tidb-binlog/tidb-binlog-reparo/
3

下游接的是kafka 丢数据的问题目前这边还在查不确定是那边的问题 不过我们更倾向是业务方链接tidb的问题

这边还发现了另一个问题 也一起帮忙看下
先描述下环境：
3台pump
2台drainer
drainer1：同步id-mapping.t_uid_relation表到下游kafka的topic t_uid_relation中
drainer2：同步qianqian_test.qianqian_t_uid_relation同步到下游kafka的qianqian_topic t_uid_relation中

该pump+drainer 配置正常 上游tidb写数据 能实时同步到下游对应topic中

同步开启一段时间后 因业务需要在qianqian_test中新建qianqian_t_uid_relation_copy1表 并且对这张表写数据 这个时候 两个drainer进程都挂了 并且报错：
[2020/07/14 13:35:57.627 +08:00] [INFO] [async_producer.go:717] ["[sarama] producer/broker/4 input chan closed\ "]
[2020/07/14 13:35:57.627 +08:00] [INFO] [async_producer.go:801] ["[sarama] producer/broker/4 shut down\ "]
[2020/07/14 13:35:57.627 +08:00] [INFO] [broker.go:253] ["[sarama] Closed connection to broker kafka:9092\ "]
[2020/07/14 13:35:57.627 +08:00] [ERROR] [server.go:279] [“syncer exited abnormal”] [error=“filterTable failed: not found table id: 4608”] [errorVerbose=“not found table id: 4608\ngithub.com/pingcap/tidb-binlog/drainer.filterTable\ \t/home/jenkins/agent/workspace/release_tidb_3.0/go/src/github.com/pingcap/tidb-binlog/drainer/syncer.go:446\ github.com/pingcap/tidb-binlog/drainer.(*Syncer).run\ \t/home/jenkins/agent/workspace/release_tidb_3.0/go/src/github.com/pingcap/tidb-binlog/drainer/syncer.go:353\ngithub.com/pingcap/tidb-binlog/drainer.(*Syncer).Start\ \t/home/jenkins/agent/workspace/release_tidb_3.0/go/src/github.com/pingcap/tidb-binlog/drainer/syncer.go:123\ngithub.com/pingcap/tidb-binlog/drainer.(*Server).Start.func4\ \t/home/jenkins/agent/workspace/release_tidb_3.0/go/src/github.com/pingcap/tidb-binlog/drainer/server.go:278\ngithub.com/pingcap/tidb-binlog/drainer.(*taskGroup).start.func1\ \t/home/jenkins/agent/workspace/release_tidb_3.0/go/src/github.com/pingcap/tidb-binlog/drainer/util.go:69\ runtime.goexit\ \t/usr/local/go/src/runtime/asm_amd64.s:1357\ filterTable failed”]
[2020/07/14 13:35:57.627 +08:00] [INFO] [util.go:66] [Exit] [name=syncer]
[2020/07/14 13:35:57.627 +08:00] [INFO] [server.go:415] [“begin to close drainer server”]
[2020/07/14 13:35:57.627 +08:00] [INFO] [broker.go:253] ["[sarama] Closed connection to broker kafka:9092\ "]

4608这个tableid就是刚才新建的表

4

一个帖子麻烦不要处理多个问题，这样容量混淆。麻烦新开个帖子来看这个问题，上传下，pump和drainer的配置文件，多谢。

5

:sweat_smile: :sweat_smile::sweat_smile::sweat_smile:

6

抱歉，这个帖子可能还要跟开始的问题，也方便以后同样问题的用户查看，多谢。