TiDB同步问题

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】

旧:V2.1.13
新:V5.2

【概述】 场景 + 问题概述

由于旧群集的历史问题,想把一些业务线拆到新群集中,所以有数据迁移需求,我们设想用 dumpling(全量) + drainer (增量)的方式进行 TiDB集群间的数据迁移,有如下疑问:

  1. 全量:导出300G左右的数据用时1h,但是导入(lightning)到目标TiDB集群中的耗时较长,请问有没有什么优化方法
  2. 增量:由于旧集群配置较为混乱,我们不想在旧集群上新建drainer,请问有没有什么工具可以单独部署增量同步通道,使其读旧集群中的pump日志?

现在这个版本只能用 Lightning 导入,BR 要在 v4.0 版本以后才可以。

目前 TiDB-binlog 是 pump 和 drainer 绑定的,不能拆开用。其他的开源工具可以考虑一下,比如 美团的 Gravity

我们有没有对 drainer 扩容的标准 SOP 呀,ansible-playbook 的

没有哈,这块比较简单,可以参考一下官方文档 。

如果不重新部署,而是用原有的drainer可执行文件指定不同的配置文件有啥风险么

如果想增加 drainer 消费吞吐,可以尝试通过扩容多个 drainer ,然后分别订阅不同的数据处理。