tiup部署新增binlog

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0
  • 【问题描述】:已经使用tiup部署好了tidb集群(tidb+pd+kv),现在想新增binlog,使用 tiup cluster edit-config编辑好了配置文件,需要deploy还是reload呢?

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

是新增binlog工具同步给下游吗? 按照扩容来操作

https://pingcap.com/docs-cn/stable/scale-tidb-using-tiup/

感谢回复!
是的,我这边试一下。刚才执行了reload

现在集群里有这个pump的配置信息,扩容的话有影响么

还是删除配置,走扩容吧。

删除了配置,新部署pump没有问题,增加drainer的时候启动失败,配置文件如下:

drainer_servers:
 - host: 10.6.221.80
   port: 8249
   data_dir: "/data1/data/drainer-8249"
   commit_ts: -1
   deploy_dir: "/data1/deploy/drainer-8249"
   config:
     syncer.db-type: "mysql"
     syncer.to.host: "10.6.202.151"
     syncer.to.user: "xxxx"
     syncer.to.password: "xxxxx"
     syncer.to.port: 3306
     syncer.replicate-do-db: "cw"

需要采集哪些信息协助处理一下

你好,

  1. 上传下 drainer 日志看下。
  2. 尝试按照文档中的配置方法,修改下 syncer.replicate-do-db 的值:譬如syncer.replicate-do-db: [cw]

replicate-do-db

  • 指定要同步的数据库,例如 [db1, db2]
  • 默认: []
drainer_servers:
- host: 172.16.4.107
  ssh_port: 22
  port: 18249
  deploy_dir: /home/tidb/qh_new/deploy/drainer-18249
  data_dir: /home/tidb/qh_new/data/drainer-18249
  config:
    syncer.db-type: mysql
    syncer.to.host: 172.16.5.169
    syncer.to.password: "123456"
    syncer.to.port: 3306
    syncer.to.user: root

之前的配置方法drainer日志无输出,同步数据库配置成[“cw”]可以正常启动,不过同步未生效,现在测试下[cw]不加双引号

:crossed_fingers:,测试通过可以同步下信息。

你好~
drainer可以正常启动,不过测试数据同步还是不行,drainer日志中只有刷新检查点的信息,另外监控中也没有drainer的信息:截图如下:


看下数据库 cw 是否有写入数据吧,并且下游是存在 cw 数据库的,tidb-binlog 会从配置的 -1 位置(最新)开始同步数据,如果下游没有对应的表和数据库,那产生的 binlog 也无处可写,建议使用 mydumper 将上游数据库完整备份下,并根据备份出来的位点信息进行增量同步。

在drainer正常启动之前,上下游已经建好空库,清空了check_point表,重启drainer启动后,在上游测试新建表并插入数据,下游还是没有同步到。

  1. 提供下 drainer 的日志吧
  2. display 看下集群状态。

相关信息已经上传,请查收

drainer.log (1.8 MB)

你好,

日志中无异常信息,且确认该表是在 cw 数据库下创建,可以上传下 pump.log 日志看下。

通过之前可以先检查下 pump 和 drainer 是否是 online 状态